آموزش استفاده از SQL Server Integration Services 2019 (SSIS 2019) [بخش اول]

بررسی اجمالی

• خدمات یکپارچه سازی یا همان SSIS شامل مراحلی چون:

۱- Extract: استخراج
۲- Transform: تبدیل
۳- Load: بارگذاری

در پلتفرم‌‌های مایکروسافت می‌‌باشد.

موارد استفاده از SSIS

• به طور معمول در پروژه‌ها و سناریوهای Data Warehousing مورد استفاده قرار می‌گیرند.
• اما می‌توانند در سناریوهایی چون انتقال اطلاعات یا تغییر فرمت دیتا نیز استفاده شوند.که مثالی برای این مورد می‌‌توان به قسمت:
  Maintenance Plans و Import /Export wizard در SQL SERVER اشاره کرد.

SSIS ابزار انعطاف پذیری است که می‌‌تواند انواع عملیات را انجام دهد که به چند مورد اشاره می‌‌کنیم:

• انتقال داده‌ها از یک منبع اطلاعاتی نظیر پایگاه داده اوراکل به یک منبع اطلاعاتی دیگر مانند SQL SERVER، این انتقال در حافظه (Memory) صورت می‌‌گیرد و زمانی که دیتا در حافظه می‌باشد عملیات تغییر فرمت دیتا یا هر تغییر مورد نیاز (Data Manipulation) بر روی دیتا اعمال می‌شود همین کار باعث می‌شود تا SSIS ابزاری با سرعت بسیار بالا نسبت به بقیه ابزار انتقال اطلاعات باشد.
• با استفاده از SSIS می‌‌توان اطلاع رسانی‌های عمومی انجام داد مانند استفاده از کامپوننت Script Task که یکی از قدرتمندترین کامپونتت‌های SSIS است و می‌توان با استفاده از آن نوتیفیکشن‌های مورد نیاز را از طریق ایمیل به کاربران فرستاد.
• می‌توان از کامپوننت FTP Task برای انتقال اطلاعات و فولدرها از سرورها به سیستم‌های Local استفاده کرد.
• SSIS ابزار بسیار قدرتمندی برای Error Handling می‌باشد، به صورتی که می‌توان با استفاده از قابلیت‌‌هایی چون OnError, OnInformation و OnPostExecute برای خطاگیری استفاده کرد و بزرگترین پکیج‌هایSSIS را با این قابلیت به سادگی خطاگیری کنید.
• این ابزار قابلیت مدیریت بسیار بالایی دارد به صورتی که می‌توان در یک پکیچ چندین عملیات را به صورت موازی انجام داد و حتی می‌توان با استفاده از قابلیت Precedence Constraint عملیات را به صورت شرطی انجام داد.
• لازم به ذکر می‌‌باشد که اگه تمامی موارد که در بالا ذکر شد هم راهی برای حل مسئله شما نباشد می‌‌تواند با استفاده از کدهای .Net کامپوننت‌‌های مورد نیاز را کدنویسی کرد و استفاده نمود.

• در این مقاله نحوه نصب SSIS 2019 بر روی Visual Studio 2019 و ساختن یک پکیج انتقال اطلاعات که دارای مراحل استخراج، تغییرشکل، بارگذاری می‌‌باشد و همین طور بارگذاری پکیج بر روی SQL Server و نحوه مانیتورینگ پکیج، آموزش داده می‌‌شود.

این آموزش شامل چند فصل می‌‌باشد که به شرح زیر می‌باشد:

• استخراج دیتا (Extract)
• کنترل جریان (Control Flow)
• تغییر شکل دیتا(Transform)
• بارگذاری دیتا (Load)
• استقرار بسته انتقال (Deploy Package)
• اجرای بسته (Executing Package)
• مانیتورکردن مراحل اجرا(Monitoring Execution)

 
لازم به ذکر است که ممکن است به صورت پیوسته باشند و دو قسمت در قالب یک بخش آورده شود

بخش اول: نحوه نصبSSIS 2019 بر رویVisual Studio 2019

تغییری که در نرم افزار Visual Studio 2019 نسبت به Visual Studio 2017 ایجاد شده و یکی از تغییرهای مهم این نرم افزار است این است که دیگر نیازی نیست یک نرم افزار جداگانه برای پروژه‌‌های Business Intelligence که به اصطلاح Microsoft SQL Server Data Tools نام دارد نصب کرد و باید از طریق اضافه کردن افزونه‌‌ها، مطابق تصاویر زیرعمل کرد:

۱- مرحله اول

برای اضافه کردن افزونه مخصوص SSIS باید از تب Extensions استفاده کرد مطابق شکل.

۲- مرحله دوم

زمانی که بر روی نوار افزونه‌ها کلیک می‌کنیم این صفحه نمایش داده می‌شود که باید مطابق مراحل در شکل عمل کرد که ابتدا باید در نوار جست و جو کلمه SSDT را سرچ کرد و سپس از گزینه‌‌های پیشنهادی باید مطابق مرحله سوم این افزونه رو دانلود نمود که لینک دانلود نمایش داده شده و قابل استفاده نیز می‌باشد(با کلیک کردن بر روی تصویر).

۳- مرحله سوم

در این مرحله بعد از اتمام دانلود افزونه مطابق شکل زیر عمل می‌کنیم.۴-مرحله چهارم:
صبرمی‌‌کنیم تا مرحله نصب کامل شود.۵- مرحله پنجم۶- مرحله ششم
۷- مرحله نهایی
با پیمودن این مراحل حالا SSIS 2019 را بر روی نصب کرده ایم و آماده ایجاد یک پیکج انتقال اطلاعات هستیم.
لازم به ذکر است که برای استفاده از SSIS نیاز داریم که در زمان نصب SQL Server 2019 نیز تنظیمات لازم برای این افزونه را انجام داد.
این تنظیمات به شرح ذیل می‌‌باشد:
• نحوه تنظیم SQL Server 2019 برای استفاده از سرویس SQL Server Integration Services :
با استفاده از فایل نصبی برنامه SQL Server 2019 با توجه به شکل زیر عمل می‌کنیم:
زمانی که طبق شکل عمل می‌‌کنیم و از طریق SQL Server Installation Center برای اعمال تنظیمات استفاده می‌کنیم باید زمانی که در قسمت دوم تصویر هستیم آدرس فایل نصبی SQL Server رو به نرم افزار بدهیم تا نرم افزار بتواند تغییراتی که قرار است بر روی Instance مورد نظر اعمال شوند را اجرا و ذخیره کند.
لینک دانلود SQL Server نیز بر روی تصویر گذاشته شده و قابل استفاده می‌‌باشد، پیشنهاد می‌‌شود از مرحله DownLoad Media مرحله دانلود را پیموده و نیز به صورت ISO نرم افزار را دانلود کنیدزمانی که آدرس فایل نصبی را به نرم افزار دادیم باید مطابق شکل زیر عمل کنیم
در تب Feature Selection باید حتما این دو گزینه را تیک بزنیمDataBase Engineوظیفه ذخیره سازی، بازیابی اطلاعات و همین طور امنیت داده‌‌های بانک اطلاعاتی را تامین می‌‌کند در واقع این ویژگی موتور SQL Server می‌‌باشد.
Integration Servicesهم توضیح داده شد، زمانی که DataWarehous داریم برای انجام عملیاتETL باید از این سرویس و فرآیند استفاده نمود.با تیک زدن این دو مورد و نصبشان حالا سیستم آماده انجام عملیات ETL می-باشد.
حالا بعد از انجام تنظیمات مربوطه به ساختن یک پکیج SSIS می­پردازیم

آموزش ساختن یک بسته انتقال اطلاعات

در این قسمت از خدمات اصلی SSIS که شامل استخراج، تغییرات دیتا، بازگذاری می‌‌باشد، استفاده می-شود. برای انجام مراحل ساختن پکیج از دیتابیس Wide World Importers که یک دیتابیس نمونه Open-Source که در واقع نمونه اطلاعات یک شرکت واقعی در آن گنجانده شده توسط مایکروسافت ساخته شده استفاده می‌‌شود. است.
تمامی اطلاعات مورد نیاز در این پایگاه داده را می‌‌توانید در لینک زیر مشاهد کنید:

https://github.com/Microsoft/sql-server-samples/tree/master/samples/databases/wide-world-importers

 برای شروع پروژه می‌‌بایست بک آپ این پایگاه داده را Restore کنیم، لینک دانلود بک آپ پایگاه داده در زیر آورده شده و می‌‌توانید دانلود کنید.

https://github.com/Microsoft/sql-server-samples/releases/download/wide-world-importers-v1.0/WideWorldImporters-Full.bak

 بعد از دانلود فایل بک آپ نحوه Restore کردن دیتابیس مطابق شکل‌‌های زیر توضیح داده می‌‌شود:
با استفاده از نرم افزار SSMS بر روی فولدر دیتابیس کلیک راست کرده و گزینه Restore Database … را کلیک می‌‌کنیم.
مرحله بعد باید گزینه Device رو تیک زده و آدرس فایل بک آپ را به نرم افزار بدهیمدر قسمتSelect Backup Device روی گزینه Add کلیک می‌-کنیم.و در File Explorer باید آدرس فایل بک آپ را انتخاب کنیم.بعد از انجام این مرحله تنها یک مرحله دیگر تا Restore پایگاه داده پیش رو داریمزمانی که کلیک تایید را میزنیم باید در قسمت تب Files کلیک کرده و آدرس فایل‌‌های پایگاه داده را که به صورت پیش فرض در راه نصب SQL 2019 تنظیم شده اند، عوض کرد.بعد از این مراحل ما پایگاه داده Wide Word Importers را Restore کرده‌‌ایم و می‌‌توان برای دانلود فایل بک آپ Data Warehouse این پایگاه داده نیز از لینک زیر استفاده بفرمایید.

https://github.com/Microsoft/sql-server-samples/releases/download/wide-world-importers-v1.0/WideWorldImportersDW-Full.bak

در این مقاله به روش نصب بستر و ابزار کار با SSIS پرداختیم در مقاله بعدی قصد داریم شما را با روش استخراج اطلاعات و محیط کنترل جریان (Control Flow) آشنا کنیم.