نقش ETL در هوش تجاری

ETL در هوش تجاری فرآیندهایی است که برای استخراج داده‌ها از منابع مختلف، تبدیل آن‌ها به یک فرمت مشترک و بارگذاری به سیستم هدف استفاده می‌شود.

همانطور که درمقاله ETL چیست نیز توضیح داده‌ایم، این فرآیند مخفف Extract Transform and Load است و بااستفاده از روال‌های آن می‌توان داده‌ها را از سیستم‌های عملیاتی استخراج و مرتب کرد، به یک شکل خاص درآورد و در انبار داده ذخیره کرد. باید به این موضوع توجه داشت که این روال‌ها باید جوری توسعه داده شوند که سرعت و performance خیلی خوب و بالایی داشته باشد. در این ویدئو، به بررسی نقش ETL در هوش تجاری می‌پردازیم.

• Extract:

منظور Extract، استخراج داده از یک یا چند منبع مختلف است. پس از آنکه تحلیل و طراحی مدل Warehouse به پایان رسید، نوبت به بارگذاری داده‌ها در آن می‌رسد؛ اما بارگذاری داده‌ها تابع قوانین خاصی هستند و باید به آن‌ها توجه شود. ابتدا باید منابعی که قرار است اطلاعات آن‌ها را در انبار داده داشته باشیم، شناسایی کنیم و پس از آن، داده‌ها را در یک محیط واسط قرار دهیم. این عملیات می‌تواند توسط یکی از ابزارهای ETL و یا استور پروسیجر، Function ها و کوئری‌ها انجام گیرد.

منظور از محیط واسط، یک بانک اطلاعاتی است که میان انبار داده‌ها و منابع داده قرار گیرد. دلیل استفاده از محیط واسط این است که معمولاً داده‌های منبع، نیاز به پالایش دارند که اولاً این پالایش نباید در منبع داده‌ها انجام گیرد و دوماً اطلاعاتی که در Warehouse بارگذاری می‌شوند، باید به‌صورت پالایش‌شده باشد. باید در زمان استخراج، داده‌ها را از منابع مختلف جمع‌آوری و در یک محیط واسط قرار دهیم.

• Transform:

منظور از Transform در ETL در هوش تجاری ، پالایش داده‌های استخراج‌شده است. پالایش داده‌ها بسیار مهم است؛ چراکه بعد از پالایش داده‌ها باید آن‌ها را در انبار داده بارگذاری کرد. برای این کار، از یک محیط واسط که کم‌وبیش شبیه انبار داده است، استفاده می‌شود.

• Load:

آخرین کاری که در ETL در هوش تجاری انجام می‌گیرد، بارگذاری داده‌های استخراج و پالایش‌شده از منابع مختلف در انبار داده‌ها است. معمولاً در زمان بارگذاری در انبار داده، تغییرات خاصی روی داده‌ها انجام نمی‌گیرد و آن‌ها بدون هیچ تغییری از محیط واسط در انبار داده‌ها بارگذاری می‌شوند.

نقش ETL در هوش تجاری چیست؟

در بررسی نقش ETL در هوش تجاری درنظر بگیرید که داده‌ها در سیستم‌های عملیاتی و یا بعضی مواقع، در خارج از سیستم‌های عملیاتی، درون یکسری فایل‌ها و ساختارهای خاص و در یک سیستم عملیاتی نرمال، ذخیره شده‌اند. برای اینکه بتوانیم آن را به ساختار انبار داده تبدیل کنم، باید از امکانات موجود در ابزار ETL و SQL server به‌خوبی استفاده نماییم تا بتوانیم تبدیلات لازم را به انجام برسانیم. این تبدیلات، کل کاری است که در پروسه ETL انجام می‌شود.

ابزار توسعه مایکروسافت برای ETL در هوش تجاری

به‌طور کلی، برای اینکه بتوانیم ETL در هوش تجاری را در روش مایکروسافتی انجام بدهیم، ابزارهایی توسعه یافته‌اند. ابزاری که مایکروسافت برای این کار توسعه داده، ابزار SSIS است. زمانی که درحال نصب سرویس SQL server هستید، یکی از فیچرهای مربوطه، SSIS است. ما در نیک آموز، آموزش نصب این پایگاه داده را به شما آموزش داده‌ایم که می‌توانید راهنمای نصب SQL server در ویندوز و نصب SQL server در لینوکس را آموزش ببینید.

اگر قصد دارید یک سرور خاص برای ETL راه‌اندازی کنید، امکان راه‌اندازی SSIS به‌طور مسقیم وجود دارد و کافی است آن را در کنار Database Engine نصب کنید تا بتوانید از ویژگی‌های حرفه‌ای آن استفاده کنید. همچنین خوب است بدانید که توسعه روال‌های ETL در هوش تجاری بااستفاده از Visual Studio Data Tools انجام می‌شود.

استفاده از لایه stage برای ETL

• لایه‌ای مابین data source ها و DW 
• فضای موقت جهت ذخیره‌سازی داده
• هدف: راحتی