دوره هوش تجاری جامع ۳ در ۱

» ماژول اول : آشنایی با مفاهیم اولیه هوش تجاری و نصب و راه‌اندازی ابزارها
» ماژول دوم : آشنایی با انباره داده و اصول طراحی آن
» ماژول سوم : آشنایی با ETL و استفاده از SSIS در SQL Server
» ماژول چهارم : آشنایی با OLAP و استفاده از SSAS در SQL Server
» ماژول پنجم : آشنایی با ساخت داشبورد و گزارش‌ها

۱- معرفی جایگاه BI در سازمان‌ها
۲- چرخه تصمیم گیری
۳- پیش نمایش یک سیستم BI و یک پروژه BI
۴- آشنایی با انواع سرویس‌های BI
۵- آشنایی با Technology Providerهای حوزه BI
۶- آشنایی با اجزاء و مسیر اجرای یک پروژه BI

هوش تجاری مجموعه‌ای از ابزارها، برنامه‌های کاربردی و شیوه‌های کسب و کار است که هدف آن کمک به بهبود کسب و کار می‌باشد.

با استفاده از ابزارها و مباحث موجود در BI شما می‌توانید داده‌های موجود در سازمان را پس از جمع‌آوری و یکپارچه کردن در یک قالب مناسب ذخیره کنید تا آماده تحلیل شوند؛ در واقع BI به ما کمک می‌کند که ما بتوانیم تصمیم‌های مناسب بر اساس نتایج تحلیل داده‌ها انجام دهیم.

1- بررسی مفهوم OLTP
2- بررسی مفهوم اولیه OLAP
3- بررسی اولیه مسیر اجرای یک پروژه BI
4- بررسی اولیه انباره داده (Data Warehouse) و مشاهده یک نمونه انباره داده
5- بررسی اولیه فرآیند ETL و مشاهده یک پروژه ETL
6- بررسی اولیه مفهوم بانک اطلاعاتی تحلیلی و مشاهده یک OLAP Database
7- بررسی اولیه داشبورد و گزارش و مشاهده نمونه‌هایی از داشبوردها

برای این که بتوانید یک پروژه BI را به سرانجام برسانید باید با اجزاء آن آشنا باشید. لایه‌های اصلی که در یک پروژه BI نقش دارند عبارتند از

• لایه منابع اطلاعاتی
• لایه یکپارچه‌سازی
• لایه انباره داده
• لایه بانک اطلاعاتی تحلیل
• لایه داشبورد و گزارش

ما در طی این دوره شما را با مفاهیم و ابزارهای کاربردی هر کدام از این لایه‌ها آشنا خواهیم کرد.

۱- معرفی اولیه پیش‌نیازهای نصب SQL Server 2022
۲- معرفی اولیه سرویس Database Engine
۳- معرفی اولیه سرویس SSIS
۴- معرفی اولیه سرویس SSAS

ما در طی این دوره هدف‌مان این است که توسعه یک پروژه Enterprise BI را با استفاده از تکنولوژی‌های مایکروسافتی انجام دهیم.

برای این که بتوانیم این کار را انجام دهیم باید با ابزارهای ارائه شده توسط مایکروسافت آشنا شویم تا بتوانیم این کار را به بهترین نحو ممکن انجام دهیم. در طی این دوره شما با ویژگی‌های کاربردی مربوط به این ابزارها آشنا خواهیم کرد.

۱- معرفی ابزار SQL Server Management Studio و بررسی نحوه نصب و به‌روزرسانی آن
۲- معرفی ابزار Visual Studio 2022
۳- نحوه نصب Data Tools 2022
۴- بررسی نصب Extension مربوط به SSIS
۵- بررسی نصب Extension مربوط به SSAS
۶- بررسی نصب Extension مربوط به SSRS
۷- بررسی روال Update کردن Extensionهای مربوط به BI در Data Tools

یکی از ابزارهای کاربردی برای توسعه پروژه‌های BI استفاده از Visual Studio است. ما در طی این دوره با استفاده از VS 2022 و نصب Extensionهای BI یاد می‌گیریم که چگونه پروژه‌های ETL، OLAP و… را ایجاد نماییم.

۱- معرفی بانک اطلاعاتی ClinicDB
۲- بررسی بانک اطلاعاتی ClinicDW
۳- بررسی بانک اطلاعاتی Adventurework
۴- بررسی بانک اطلاعاتی AdventureworkDW
۵- بررسی نحوه بازیابی بانک‌های اطلاعاتی در SQL Server

ما برای این که بتوانیم مسیر آموزش‌های مربوط به مباحث انباره داده (Data Warehouse) و همچنین بانک اطلاعاتی تحلیلی (OLAP) را به طور مناسب جلو ببریم نیاز به تعدادی بانک اطلاعاتی مثال داریم. این بانک‌های اطلاعاتی در طی این دوره به دانشجویان ارائه می‌گردد تا بتوانند مباحث مطرح شده در دوره را با آن تمرین نمایند.

۱- آشنایی اولیه با انواع دیتابیس های SQL و NoSQL
۲- بررسی Data Warehouse و دلیل ایجاد آن
۳- بررسی اصول طراحی انبار داده
۴- هدف از ساخت انبار داده و جایگاه آن در یک پروژه BI
۵- آشنایی با انواع مدل سازی‌های پایگاه داده Relational و Multidimensional
۶- شناخت معماری‌های Inmon و Kimball
۷- شناخت مدل‌های Star, Snow Flake, Constellation در طراحی Multidimensional
۸- آشنایی با مفاهیم Fact و Dimension
۹- آشنایی با مفهوم Data Mart
۱۰- نحوه نگاشت یک Relational Data Model به Dimensional Data Model
۱۱- بررسی مدل سازی کلان انبار داده
۱۲- بررسی قواعد و استانداردهای حاکم بر طراحی انبار داده
۱۳- شناخت مفهوم ریزدانگی (Grain)
۱۴- طراحی جداول Dimension
۱۵- طراحی جداول Fact
۱۶- ساخت Bus Matrix
۱۷- مدل سازی داده‌ها
۱۸- شناخت مفهوم Schema در پایگاه داده

قلب تپنده یک پروژه BI انباره داده می‌باشد. ما داده‌های جمع آوری شده در فاز ETL را در انباره داده قرار می‌دهیم تا بتوانیم از آن برای تحلیل استفاده نماییم.

به طور کلی انباره داده یک بانک اطلاعاتی عادی است که به صورت D-Normal ایجاد شده که شامل مجموعه‌ای از داده‌های موضوع گرا، یکپارچه، با متغییر زمانی و غیر فرار برای پشتیبانی از فرآیند تصمیم‌گیری مدیران می‌باشد.

۱- شناخت انواع Dimensionها
۲- شناخت انواع Factها
۳- آشنایی با مفهوم Measure و انواع آن
۴- آشنایی با مفهوم Surrogate Key و Business Key
۵- آشنایی با مفهوم Slowly Changing Dimension (SCD)
۶- بررسی روش‌های پیاده سازی SCD
۷- معرفی و آشنایی با Dimensionهای عمومی (DimDate , DimGeography و…)

ما در یک انباره داده به صورت کلی دو نوع جدول داریم این جداول عبارتند از:

• جداول Dimension
• جداول Fact 

برای این که شما بتوانید یک طراحی مناسب و اصولی برای انباره داده خود انجام دهید باید بتوانید جدول Fact و Dimension را به خوبی تشخیص دهید، ما در طی این دوره اصول این کار را به شما آموزش خواهیم داد.

۱- بررسی Recovery Model و تاثیر آن بر روی Data Warehouse
۲- کدام Recovery Model برای Data Warehouse مناسب است؟
۳- آشنایی با مفهوم File Group
۴- بررسی ویژگی‌های کلیدی در خصوص File Group
۵- بررسی تاثیر استفاده از File Group در کارایی Data Warehouse
۶- بررسی مفهوم ایندکس
۷- بررسی Clustered Index
۸- بررسی Non Clustered Index
۹- بررسی مفهوم Data Compression
۱۰- بررسی نحوه پیاده‌سازی Data Compression در SQL Server

یکی از کارهایی که برای انباره داده‌های بزرگ باید انجام داد انجام روال‌های مربوط به Performance & Tuning می‌باشد.

در یکی از پروژ‌هایی که درگیر آن هستیم یکی از جداول Fact مربوط به انباره داده دارای حجمی در حدود 5 ترابایت است که در این جدول بیش از 20 میلیارد رکورد قرار گرفته است. جهت افزایش کارایی مربوط به این جدول ما از Partitioning و Data Compression به صورت همزمان استفاده خواهیم کرد تا بتوانیم حجم جدول را کاهش داده و همچنین سرعت دستیابی به آن را بالا ببریم.

1- آشنایی با قسمت‌های اساسی Data Tools برای کار با پروژه‌های SSIS
2- بررسی معماری یک پروژه SSIS
3- آشنایی با مفهوم Task
4- بررسی نحوه گروه‌بندی Taskها در SSIS
5- آشنایی با Import/Export Wizard در SQL Server
6- معرفی Control Flow Task
7- معرفی Data Flow Task
8- معرفی اولیه کامپوننت‌ها در SSIS
9- آشنایی با مفهوم Precedence Constraint در SSIS

برای پیاده‌سازی یک پروژه ETL باید از سرویس SSIS در SQL Server کنیم. ابزار توسعه یک پروژه ETL به سبک مایکروسافتی Visual Studio است که با نصب Extension مربوط به SSIS می‌توانیم توسعه یک پروژه ETL را شروع کنیم.

ما در طی این دوره شما را با نحوه کار با این ابزار و همچنین کامپوننت‌های موجود در آن آشنا خواهیم کرد.

1- بررسی مفهوم Connection
2- بررسی انواع Connectionها در SSIS
3- معرفی OLEDB Connection در SSIS
4- معرفی NET Connection در SSIS
5- بررسی نحوه داینامیک کردن پارمترهای مربوط به Connectionها در SSIS

زمانی که شما بخواهید به منابع اطلاعاتی خود وصل شوید باید از مفهوم Connection استفاده کنید. یکی از کارهایی که می‌توان در توسعه پروژه‌های ETL انجام داد داینامیک کردن Connection می‌باشد.

یادم است یک بار نیاز به انجام کاری تکراری و خواندن داده از چند بانک اطلاعاتی مشابه بود ما روال پیاده‌سازی مربوط به این کار را با استفاده Dynamic کردن Connectionها در SSIS توانستیم به خوبی انجام دهیم.

1- بررسی نحوه کار با متغییرها در SSIS
2- معرفی اولیه انواع Data Typeها در SSIS
3- بررسی دامنه استفاده از متغییرها در Package
4- بررسی نحوه مقدار دهی به متغییر‌ها
5- بررسی نحوه استفاده از متغییرها در کامپوننت‌های SSIS
6- بررسی Variable Scope در SSIS
7- بررسی مفهوم پارامتر در پکیج‌ها
8- بررسی نحوه ایجاد Package Parameter در SSIS
9- بررسی نحوه ایجاد Project Parameter در SSIS

در یکی از پروژه‌های BI که درگیر آن بودیم یکی از مشتریان درخواستی مبنی بر این داشت که واکشی داده‌های منابع اطلاعاتی از X روز قبل اتفاق بیافته و همیشه سیستم ملاک واکشی را از X روز قبل انجام دهد. پارامتر X باید در اختیار مدیر سیستم باشد که بتواند آن در برخی مواقع تنظیم نماید. ما برای پیاده‌سازی این ویژگی از Package Parameter در SSIS استفاده کردیم.

شما در طی این دوره با این ویژگی و همچنین سایر ویژگی‌های مربوط به این حوزه به خوبی آشنا خواهید شد.

۱- بررسی کامپوننت Bulk Insert Task
۲- بررسی کامپوننت Script Task
۳- بررسی کامپوننت Execute SQL Task
۴- بررسی کامپونت Execute Process Task
۵- بررسی نحوه کار با متغییرها و پارامترها در کامپوننت‌های اشاره شده در این بخش

یکی از کامپوننت‌های خیلی خوب در SSIS کامپوننت Execute SQL Task می‌باشد. ما بوسیله این کامپوننت می‌توانیم دستورات SQL را در بانک‌های اطلاعاتی مختلف اجرا کنیم؛ برای مثال فرض کنید که ما نیاز است پس از پر کردن یک جدول Stage ایندکس بر روی آن اعمال کنیم. برای این کار می‌توانیم از این کامپوننت استفاده کرده و دستور ساخت ایندکس را بر روی جدول اعمال نماییم.

1- بررسی کامپوننت File System Task
2- بررسی کامپوننت FTP Task
3- بررسی کامپوننت Web Service Task

چند سال پیش در یکی از پروژهایمان درگیر پیاده‌سازی یک روال ETL برای یک سازمان دولتی بودیم. در این سازمان یکی از سرورها در سنگاپور و دیگری در تهران قرار داشت هدف این بود که سرور تهران طی فواصل زمانی خاص بتواند اطلاعات موجود در برخی از جداول سرور سنگاپور را واکشی کرده و پس از انجام پروسه ETL درون Data Warehouse درج کند؛ اما مشکلی برای انجام اینکار وجود داشت سرور تهران نمی‌توانست به طور مستقیم به سرور سنگاپور وصل شده و داده‌ها را از آن واکشی کند.

برای اینکه مشکل را حل کنیم از یک FTP Server استفاده کردیم که هر دو سرور به طور مستقیم به آن دسترسی داشتند. سرور سنگاپور داده‌های لازم را طی فواصل زمانی به صورت یک Flat File تولید کرده و در FTP Server قرار می‌دهد و پس از آن سرور تهران در زمان‌هایی خاص به FTP سرور وصل شده و فایل‌های جدید را پس از انتقال به سرور تهران در سیستم Import می‌کند. تمامی این کارها بدون برنامه نویسی و با استفاده از SSIS انجام شده است.

1- بررسی کامپوننت For Loop Container
2- بررسی کامپوننت Foreach Loop Container
3- بررسی کامپوننت Sequence Container
4- پیاده‌سازی مثال‌های کاربردی با استفاده از Containerها

یکی از کارهای جالبی که در SSIS می‌توان انجام داد ایجاد حلقه می‌باشد. ما با استفاده از کامپوننت‌های خانواده Loop می‌توانیم کارهای تکراری را در SSIS انجام دهیم؛ برای مثال اگر بخواهیم عملیات ETL را بر روی فایل‌هایی انجام دهیم که نام آنها با یک قاعده خاص (Data_1.csv,Data_2.csv) می‌باشد. می‌توانیم از کامپوننت‌های خانواده Loop جهت انجام کار تکراری بهره ببریم.

1- بررسی کامپوننت Execute Package

برای ایجاد Automation و اجرای خودکار پکیج‌های در SSIS می‌توان از کامپوننت Execute Package استفاده کرد. معمولاً برای ایجاد این نوع پکیج‌های از استراتژی پکیج Run All استفاده می‌کنند.

1- آشنایی با انواع خطاها در SSIS
2- بررسی نحوه کنترل خطا با استفاده از Precedence Task
3- بررسی ویژگی Delay Validation در SSIS
4- آشنایی با نحوه Debug کردن Packageها
5- بررسی Event Handlerها و نحوه استفاده از آنها در SSIS
6- بررسی نحوه پیاده‌سازی عملیات Logging در پکیج‌های SSIS
7- آشنایی با Catalog Logging در SSIS

در طی اجرای یک پکیج SSIS ممکن است پیام‌هایی در قالب هشدار، خطا، اطلاع‌رسانی و… تولید شود. ما در SSIS هنگام توسعه و همچنین در محیط عملیاتی می‌توانیم جزئیات آنها را به همراه آیکون‌های گرافیکی مربوط به مشاهده نماییم.

1- معرفی Data Flow Task
2- بررسی تنظیمات مربوط به افزایش کارایی هنگام استفاده از Data Flow Task
3- بررسی روال ETL و کامپوننت‌های درگیر در فاز ETL هنگام استفاده از SSIS
4- معرفی کامپوننت‌های اتصال به منابع اطلاعاتی
5- بررسی کامپوننت Flat File Source
6- بررسی کامپوننت OLEDB Source
7- بررسی کامپوننت NET Source
8- بررسی کامپوننت OLEDB Destination
9- بررسی کامپوننت OLEDB Destination
10- بررسی کامپوننت NET Destination
11- بررسی کامپوننت Data Reader Destination
12- بررسی کامپوننت Recordset Destination
13- بررسی کامپوننت Data Streaming Destination
14- بررسی کامپوننت ODATA
15- بررسی نحوه استفاده از خروجی پکیج‌های در Stored Procedure و Viewها در SQL Server
16- بررسی نحوه پارامتریک کردن تنظیمات مربوط به کامپوننت‌های اتصال به منابع اطلاعاتی

ما در این دوره با مفهوم ETL و روش‌ها و تکنیک‌های نقل و انتقال داده آشنا خواهیم شد. هر چقدر تسلط شما به کامپوننت‌های SSIS بیشتر باشد به راحتی می‌توانید سناریوهای ETL را طراحی و پیاده‌سازی نمایید.

اتصال به منابع اطلاعاتی و چینش سناریوهای ETL یکی از نکات قابل توجهی است که باید هنگام کار با SSIS به آن توجه داشت ما در طی این دوره شما را با این موضوع به خوبی آشنا خواهیم کرد.

1- بررسی مفهوم Blocking در SSIS
2- بررسی انواع حالتی‌های مربوط به Blocking در SSIS
3- معرفی کامپوننت‌های Data Transformation (تبدیلات داده)
4- معرفی کامپوننت Derived Column
5- معرفی کامپوننت Aggregate Transformation
6-معرفی کامپوننت Conditional Split
7-معرفی کامپوننت Data Conversion
8- معرفی کامپوننت Row Count
9- معرفی کامپوننت Character Map
10- معرفی کامپوننت Copy Column
11- معرفی کامپوننت Audit
12- معرفی کامپوننت Multi Cast
13- معرفی کامپوننت Derived Column

زمانی که شما یک پکیج SSIS طراحی می‌کنید باید در استفاده از کامپوننت‌ها دقت لازم را به خرج دهید برخی از کامپوننت‌های موجود در Data Flow Task زمانی که با داده درگیر می‌شوند ماهیت Blocking داشته و باعث می‌شوند که حافظه سرور ETL بیش از حد مصرف شود.

باید توجه داشت زمانی که حجم داده‌های شما زیاد است از این کامپوننت‌ها به صورت حریصانه استفاده نکنید. ما در طی این دوره شما را با مفاهیم مربوط به این حوزه به خوبی آشنا خواهیم کرد.

1- معرفی کامپوننت Sort
2- بررسی تاثیر مرتب‌سازی داده‌ها و مصرف حافظه در SSIS
3- معرفی کامپوننت Lookup
4- بررسی تنظیمات پیشرفته کامپوننت Lookup
5- بررسی سناریوهای کاربردی قابل پیاده‌سازی با استفاده از کامپوننت Lookup
۶- معرفی کامپوننت OLEDB Command
۷- بررسی نوه فراخوانی Stored Procedureها با استفاده از کامپوننت OLEDB Command
۸- بررسی کامپوننت Import Column
۹- بررسی نحوه Import کردن داده‌های Large Object به بانک اطلاعاتی با استفاده از Import Columns
۱۰- بررسی کامپوننت Export Column
۱۱- بررسی نحوه Export کردن داده‌های Large Object از بانک اطلاعاتی با استفاده از Export Columns

یکی از کامپوننت‌هایی که در Data Flow Task می‌توان از آن برای مرتب‌سازی داده‌ها استفاده کرد کامپوننت Sort می‌باشد. با استفاده از این کامپوننت علاوه بر مرتب‌سازی ما می‌توانیم داده‌های تکراری را نیز حذف نماییم. توجه داشته باشید که این کامپوننت به صورت کاملاً Blocking می‌باشد. این موضوع باعث خواهد شد که حافظه سرور شما بیش از حد مصرف شود.

۱- معرفی کامپوننت Balanced Data Distributer
۲- بررسی نحوه افزایش سرعت عملیات ETL با استفاده از Balanced Data Distributer
۳- بررسی کامپوننت Union All
۴- بررسی کامپوننت Merge
۵- بررسی کامپوننت Script Components
۶- بررسی انجام عملیات تبدیل با استفاده از Script Components
۷- بررسی نحوه استفاده از کامپوننت Pivot
۸- بررسی نحوه استفاده از کامپوننت Unpivot

یکی از کارهایی که در سناریوهای ETL ممکن است نیاز باشد چرخش داده می‌باشد. در برخی از موارد ما نیاز داریم ردیف‌های داده‌ای را تبدیل به ستون و یا ستون‌های داده‌ای را به ردیف تبدیل کنیم. برای این منظور ما می‌توانیم از کامپوننت‌های Pivot و Unpivot در SSIS استفاده کنیم. ما در این دوره شما را با نحوه استفاده از این کامپوننت‌ها به خوبی آشنا خواهیم کرد.

۱- بررسی نحوه استفاده از کامپوننت SCD
۲- بررسی نحوه پیاده‌سازی SCD Typeهای مختلف با استفاده از SSIS
۳- بررسی نحوه استفاده از کامپوننت SCD برای پُر کردن Dimensionها
۴- بررسی نحوه استفاده از ویژگی Temporal Table

یکی از قابلیت‌های جالب در SQL Server برای حفظ سوابق تغییرات جداول Fact و Dimension استفاده از Temporal Table می‌باشد، به طور خیلی ساده با استفاده از این امکان ما می‌توانیم بدون انجام تغییراتی در Packageهای خود سوابق تغییرات رکوردها در جداول Fact و Dimension را به صورت خودکار در جداولی جداگانه جمع آوری کنیم.

1- معرفی کامپوننت Multiple Hash
2- معرفی کامپوننت Checksum Transformation
3- معرفی کامپوننت Data Generator Source Adapter
4- معرفی کامپوننت File Watcher Task
5- معرفی کامپوننت RegexClean Transformation
6- معرفی کامپوننت Row Count Plus Transformation
7- معرفی کامپوننت Row Number Transformation
8- معرفی کامپوننت Trace File Source Adapter
9- معرفی کامپوننت Trash Destination Adapter
10- معرفی کامپوننت Regular Expression Transformation

یکی از سوالات رایجی که خیلی از دوستان از ما می‌پرسند کامپوننت‌های جانبی و نحوه استفاده از آنها در سناریوهای ETL می‌باشد. ما در طی این دوره شما را با تعدادی کامپوننت رایگان و کاربردی آشنا خواهیم کرد. یکی از آنها کامپوننت Multiple Hash می‌باشد که بوسیله آن می‌توانیم عملیات Hash بر روی جریان داده را انجام دهیم.

1- بررسی DimDate شمسی
2- بررسی نحوه ایجاد DimDate شمسی
3- بررسی چالش‌های مربوط به تبدیلات تاریخ شمسی
4- بررسی چالش‌های مربوط به تمیز کردن داده‌های شمسی

استفاده از تاریخ شمسی در انباره داده یکی از نکاتی است که هنگام ایجاد آن باید در نظر داشته باشید. زمانی که شما با تاریخ شمسی و یا تاریخ میلادی در بانک اطللاعاتی عملیاتی درگیر می‌شوید نیاز دارید که با روش‌هایی مناسب (دارای سرعت بالا) تبدیلات لازم را انجام دهید.

ما در طی این دوره چالش‌هایی که شما در محیط عملیاتی در این خصوص به آن برخورد خواهید کرد را حل کرده و راهکارهایی به ازای آن به شما خواهیم داد.

1- Stage Area چیست؟
2- دلایل استفاده Stage Area چیست؟
3- محیط Stage Area را کجا باید ایجاد کنیم؟
4- بررسی نقش Stage Area در افزایش سرعت ETL
5- پیاده‌سازی یک مثال کاربردی ETL و استفاده از محیط Stage
6- بررسی مفهوم کار با بانک‌های اطلاعاتی به صورت Cross Database
7- بررسی مفهوم کار با بانک‌های اطلاعاتی به صورت Cross Server

یکی از تکنیک‌هایی که در انجام پروژه‌های ETL می‌توان از آن استفاده کرد Stage کردن داده‌ها می‌باشد. با استفاده از این تکنیک ما می‌توانیم داده‌ها را در یک فضای جدای از انباره داده ذخیره کرده و عملیات مختلف بر روی آن انجام دهیم. استفاده از این تکنیک باعث افزایش سرعت عملیات ETL می‌شود.

ما در پروژه‌های خودمان از این تکنیک به خوبی استفاده می‌کنیم. برای نمونه با استفاده از این تکنیک ما می‌توانیم عملیات Upsert در پروسه ETL را با سرعت بالا و به راحتی انجام دهیم.

1- استفاده از تکنیک Merge
2- استفاده از تکنیک Hash
3- استفاده از تکنیک SCD
4- بررسی پیاده‌سازی جداول Dimension به صورت Incremental Load
5- بررسی پیاده‌سازی جداول Dimension به صورت Full Load
6- بررسی نحوه استفاده از Timestamp در سیستم‌های OLTP و تاثیر آن در پُر کردن جداول Dimension

جداول Dimension شامل داده‌هایی است که زاویه دید تحلیل در انباره داده شما را شامل می‌شود. ما برای پر کردن جداول Dimension روش‌های مختلفی را در طی این دوره یاد می‌گیریم. مهمترین وجه تمایزی که این روش‌ها نسبت به سایر روش‌های دیگر دارد این است که رول ETL شما سریع‌تر بوده و این موضوع باعث کندی سرورهای عملیاتی شما نخواهد شد.

1- استفاده از تکنیک Merge
2- استفاده از تکنیک Hash
3- بررسی پیاده‌سازی جداول Fact به صورت Incremental Load
4- بررسی پیاده‌سازی جداول Fact به صورت Full Load
5- بررسی نحوه استفاده از Timestamp در سیستم‌های OLTP و تاثیر آن در پُر کردن جداول Fact

جداول Fact شامل داده‌هایی است که تراکنش‌ها و Measureهای تحلیلی در انباره داده شما را شامل می‌شود. ما برای پر کردن جداول Fact روش‌های مختلفی را در طی این دوره یاد می‌گیریم. مهمترین وجه تمایزی که این روش‌ها نسبت به سایر روش‌های دیگر دارد این است که رول ETL شما سریع‌تر بوده و این موضوع باعث کندی سرورهای عملیاتی شما نخواهد شد.

1- آشنایی با کامپوننت Execute Package Task
2- آشنایی Package Run All
3- آشنایی با نحوه پیکربندی Integration Catalog
4- آشنایی با تنظیمات پیشرفته Integration Catalog
5- بررسی تنظیمات Protection Level در پروژه‌های SSIS
6- بررسی تاثیر تنظیمات Protection Level در محیط عملیاتی
7- بررسی نحوه Deploy کردن پکیج‌ها با استفاده از Wizard موجود در SSDT
8- بررسی نحوه Deploy کردن پکیج‌های با استفاده از فایل ispac
9- بررسی نحوه اجرای پکیج‌ها به صورت on-Demand
10- بررسی نحوه اجرای پکیج‌ها با استفاده از Job در SQL Server

در حال حاضر ما در سال 2023 هستیم و خیلی از دوستانی که با SSIS کار می‌کنند برای Deploy کردن Packageهای خود از روش قدیمی استفاده می‌کنند، در این روش برای استفاده از پکیج در محیط عملیاتی فایل آن را بر روی سرور کپی کرده و یک Job مبتنی بر آن ایجاد می‌کنند.

در حال حاضر ما از SQL Server 2012 به بعد روش Deploy مبتنی بر Integration Catalog را مورد استفاده قرار می‌دهیم. در طی این روش کلیه فعالیت‌های مربوط به پکیج در بانک اطلاعاتی SSIDB قرار دارد. ما در طی این دوره شما را با نحوه پیکربندی Integration Catalog و نحوه استفاده از آن آشنا خواهیم کرد.

1- بررسی مفهوم Proxy در SQL Server
2- بررسی سرویس Agent در SQL Server
3- بررسی نحوه ایجاد Job برای اجرای اتوماتیک Packageهای ETL
4- بررسی مفهوم Proxy در SQL Server

برای این که بتوانییم پکیج‌های Deploy شده در محیط عملیاتی را با رعایت نکات امنیتی اجرا کنیم می‌توانیم از Proxy در SQL Server استفاده کنیم. زمانی که شما از Proxy استفاده کنید پکیج مورد نظر شما با دسترسی Credential مورد استفاده در Proxy اجرا خواهد شد.

در این حالت می‌توانید کلیه تنظیمات امنیتی مورد نیاز را بر روی Credential مورد استفاده اعمال نمایید. ما در طی این دوره شما را با مفهوم Proxy، انواع آن و همچنین مفهوم Credential و نحوه تعریف و استفاده از آن در SQL Server آشنا خواهیم کرد.

1- بررسی نحوه اجرای Reportهای مربوط به پکیج‌ها
2- بررسی نحوه استخراج لاگ اجرای پکیج‌ها از Integration Catalog
3- بررسی گزارش Performance مربوط به اجرای پکیج‌ها
4- بررسی نحوه رفع و رجوع مشکلات پکیج‌ها در محیط Production

زمانی که شما مبنای Deploy پکیج‌های SSIS را بر اساس Integration Catalog قرار می‌‌دهید می‌توانید از لاگ‌ اجرای پکیج‌ها گزارش بگیرید. این گزارش‌ها به صورت پیش فرض وجود داشت و به ما امکان عیب یابی و رفع مشکلات پکیج‌ها را به خوبی می‌‌دهد.

1- آشنایی با OLAP Database
2- بررسی اولیه معماری OLAP
3- معرفی اولیه OLAP Multidimensional
4- معرفی اولیه OLAP Tabular
5- معرفی اولیه سرویس OLAP
6- بررسی تنظیمات اولیه سرویس OLAP
7- آشنایی با مفاهیم اولیه OLAP (Cube , Attribute , Member ,…)

بانک اطلاعاتی تحلیلی یا OLAP یکی از ساختارهای ذخیره‌سازی است که بوسیله آن نتایج محاسبات به ازای Dimensionهای مختلف در ساختاری خاص ذخیره می‌گردد. به طور خیلی ساده و عامیانه با ایجاد این حالت عملاً نتیجه محاسبات شما چون از قبل ذخیره شده است داده‌ها با سرعت بیشتری در اختیار شما قرار می‌گیرند.

1- بررسی نحوه استفاده از SQL Server Data Tools برای ایجاد یک پروژه Multidimensional
2- آشنایی با قسمت‌های مختلف یک پروژه OLAP Multidimensional
3- آشنایی با مفهوم Data Source
4- آشنایی با مفهوم Data Source View
5- بررسی نحوه ساخت یک پروژه OLAP با استفاده از Wizard
6- بررسی نحوه ساخت یک Relation
7- بررسی نحوه ایجاد Named Query
8- بررسی تغییر جداول و کوئری‌ها در DSV

یکی از مدل‌های توسعه OLAP ایجاد آن بر پایه تکنولوژی Multidimensional می‌باشد با استفاده از این نوع OLAP ما می‌توانیم بانک اطلاعاتی تحلیلی خود را ایجاد کنیم. در طی این روش ساختار و داده‌های بانک اطلاعاتی تحلیلی بر روی دیسک ذخیره خواهد شد.

1- بررسی نحوه ایجاد Dimensionها در یک پروژه OLAP
2- بررسی نحوه کار با Dimension Designer
3- بررسی نحوه Browse کردن داده‌های موجود در Dimension
4- بررسی نحوه کار با برخی Propertyهای مربوط به یک Dimension
5- بررسی نحوه ایجاد Hierarchy به صورت Flattened در Dimensionها

یکی از جذابیت‌های OLAP استفاده از سلسله مراتب‌ها  است. ما با ایجاد سلسله مراتب در Dimensionها می‌توانیم تحلیل را برای کاربر نهایی راحت‌تر کنیم. برای مثال اگر بخواهیم مقدار فروش را بر اساس سال، فصل، ماه و روز داشته باشیم کافی است که یک سلسله مراتب بر اساس موارد اشاره شده در DimDate ایجاد کنیم و تحلیل مقدار فروش را بر اساس آن داشته باشیم.

1- بررسی نحوه ساخت Dimensionها Snow Flake
2- بررسی استفاده از Role Playing Dimensionها
3- بررسی Translation (ترجمه) Dimensionها

جداول Dimension شامل زاویه دید تحلیل در پروژه‌های OLAP می‌باشد. هنگامی که شما Dimensionهای خود را به پروژه اضافه می‌کنید باید حواستان به نوع Dimension باشد تا بتوانید از عهده چالش‌های مربوطه در تحلیل برآیید.

1- بررسی ساختار Cube
2- بررسی نحوه ایجاد Cube
3- بررسی نحوه ایجاد Measure
4- بررسی نحوه ایجاد Measure Group
5- بررسی Propertyهای مربوط به Cube
6- بررسی Propertyهای مربوط به Measureها

زمانی که یک پروژه OLAPی ایجاد می‌کنید باید Measureها و همچنین Dimensionهای مورد نیاز را در Cube اضافه کنید تا پس از انجام عمیات Process نتیجه ارتباط بین Dimensionها و Measure Groupهای شما در Cube قرار گیرد. هنگام ایجاد Cube باید به نکات ریز و درشت زیادی توجه داشته باشید ما در طی این دوره شما را با این نکات آشنا خواهیم کرد.

1- آشنایی با OLAP Tabular
2- بررسی معماری OLAP Tabular
3- مقایسه OLAP Tabular و Multidimensional
4- بررسی نحوه ایجاد یک پروژه OLAP Tabular
5- آشنایی با مفهوم Workspace در OLAP Tabular
6- آشنایی با مفهوم Impersonation در OLAP Tabular
7- بررسی نحوه Import کردن جداول در OLAP Tabular
8- بررسی نحوه ایجاد Calculated Column
9- آشنایی با DAX
10- معرفی توابع پر کاربرد DAX
11- بررسی مفهوم Context
12- بررسی نحوه توسعه مژرها با استفاده از DAX
13- ایجاد چند سناریو کاربردی برای نوشتن مژرها
14- بررسی نحوه کار با توابع DAX برای تاریخ شمسی
15- بررسی نحوه ایجاد Hierarchy
16- بررسی نحوه پارتیشن‌بندی در OLAP Tabular
17- بررسی نحوه استفاده از Direct Query در OLAP Tabular
18- بررسی نحوه Deploy کردن پروژه‌های OLAP Tabular در محیط
19- معرفی ابزار DAX Studio و بررسی نحوه استفاده از آن

ویژگی Direct Query معادل ROLAP در محیط Multidimensional است و به ما این امکان را می‌دهد که به صورت Live با Data Source در ارتباط باشیم.

ما در طی این دوره شما را با این ویژگی به خوبی آشنا خواهیم کرد. یکی از مواردی که خواسته بسیاری از مدیران است داشتن داشبوردی با کمترین زمان بروز رسانی است.

از دیگر مواردی که به واسطه ی Direct Query می‌توان پوشش داد بحث داده‌های حجیم است که محدودیت xVelocity را طبیعتاً نخواهیم داشت؛ اما فراموش نکنیم که از بعد کارایی این Engine بسیار شرایط بهتری را برای مدل ما فراهم می‌سازد.

۱- بررسی مفاهیم اولیه مربوط به پردازش Cube و OLAP Tabular
۲- بررسی مفهوم Build
۳- بررسی مفهوم Rebuild
۴- بررسی انواع تنظیمات مربوط به Process در Cube
۵- بررسی نحوه استفاده از Analysis Service
۶- بررسی ساختار فایل asdatabase
۷- بررسی انواع مدل‌های پردازش Dimensionها (Process Full , Process Clear , Process Data)
۸- استفاده از SSIS برای پیاده‌سازی روال‌های پردازش OLAP Database
۹- استفاده از Analysis Services Processing Task در SSIS
۱۰- استفاده از Analysis Services Execute DDL Task در SSIS

برای Deploy کردن یک بانک اطلاعاتی OLAP بر روی سرور SSAS بهتر است فایل asdatabase تولید شده توسط VS را بر روی سرور کپی کرده و ویزارد Analysis Service Deployment را بر روی سرور اجر کنید تا بتوانید عملیات Deploy را انجام دهید.

اگر سیستمی که بر روی آن Visual Studio نصب شده، به طور مستقیم به سرور SSAS دسترسی دارد کافی است بر روی پروژه خود کلیک راست کرده و گزبینه Deploy را انتخاب کنید و کار را تمام کنید.

۱- آشنایی با دستورات XMLA
۲- بررسی نحوه انجام کارهای Administration مربوط به OLAP با استفاده از Wizard
۳- بررسی نحوه تهیه Backup از OLAP Database
۴- بررسی نحوه Restore کردن OLAP Database
۵- بررسی انجام تنظمیات پیشرفته SSAS

یکی از کارهایی که یک Admin خوب باید بر روی بانک‌های اطلاعاتی OLAPی انجام دهید تهیه نسخه پشنتیبان از بانک اطلاعاتی می‌باشد. برای تهیه نسخه پشتیبان از بانک اطلاعاتی OLAPی می‌‌توانیم از دستورات XMLA استفاده کنیم؛ چنانچه ما بخواهید این کار به صورت خودکار انجام شود می‌توانید برای این کار از Job و یا پیکج‌های SSIS استفاده کنید.

1- بررسی مفهوم Dashboard
2- بررسی مفهوم Report
3- بررسی تفاوت Dashboard و Report
4- چه زمانی باید به سمت استفاده از Dashboard برویم؟
5- چه زمانی باید به سمت استفاده از Report برویم؟
6- بررسی اصول ساخت Dashboard
7- بررسی اصول ساخت Report
8- معرفی داشبوردهای موبایل و ابزارهای کاربردی برای ساخت آنها
9- بررسی مفهوم پورتال برای نمایش داشبوردها و Reportها

برای این که بتوانید داده‌های موجود در انباره داده، OLAP Database را به کاربران نمایش دهید باید خروجی کار را در قالب داشبورد و همچنین گزارش آماده نمایید. ایجاد داشبورد و همچنین گزارش‌ها دارای روال و استانداردی خاص می‌باشد. ما در طی این دوره شما را با مفاهیم مربوط به این حوزه آشنا خواهیم کرد.

1- معرفی Fast Report
2- معرفی Stimulsoft
3- معرفی DevExpress
4- معرفی Report Builder

برای ساخت و نمایش گزارش در برنامه‌های کاربردی ابزارهای مختلفی وجود دارد ما در طی این دوره چند ابزار خوب به شما معرفی خواهیم کرد تا بوسیله آن بتوانید داده‌هایی که در انباره داده ذخیره کرده‌اید را در قالب گزارش در Applicationهای خود به کاربران نمایش دهید.

1- بررسی تفاوت PBIRS با SSRS
2- بررسی معماری PBIRS
3- بررسی نحوه نصب و راه‌اندازی Power BI Report Server
4- بررسی نکات مربوط به ارتقاء Power BI Report Server
5- بررسی بانک‌های اطلاعاتی ReportServer , ReportServerTemp
6- بررسی تنظیمات کابردی مربوط به سرویس PBIRS
7- بررسی برنامه Report Server Configuration Manager
8- بررسی اجزاء مربوط به PBIRS
9- بررسی پورتال PBIRS
10- بررسی تنظیمات امنیتی PBIRS
11- بررسی نحوه تعریف کردن لاگین و کاربر در پورتال
12- بررسی نحوه تخصیص دسترسی به کاربران

مایکروسافت برای نمایش داشبوردها و گزارش‌ها ابزاری به نام Power BI Report Server ارائه داده که مهم‌ترین ویژگی بارز آن توانایی نمایش داشبوردهای تعاملی Power BI در صفحه وب می‌باشد.

ما در این دوره نحوه نصب و راه‌اندازی PBIRS را بر روی یک سرور عملیاتی به شما یاد خواهیم داد و همچنین نحوه پیکربندی اصولی آن را به شما خواهیم آموخت.

1- معرفی برنامه Power BI Report Builder
2- بررسی نحوه ایجاد گزارش در SSDT
3- بررسی مفهوم Credential و تنظیمات امنیتی مربوط به Connection
4- بررسی مفهوم Data Source
5- بررسی نحوه ساخت Shared Data Source
6- بررسی تنظیمات امنیتی مربوط به Data Source
7- بررسی مفهوم Dataset
8- بررسی تنظیمات امنیتی مربوط به Dataset
9- بررسی نحوه ایجاد یک Report ساده
10- بررسی نحوه کار با Report Builder
11- بررسی نحوه استفاده از Data Grid در Report Builder
12- بررسی نحوه استافده از Matrix در Report Builder
13- بررسی مفهوم Parameter
14- بررسی نحوه ایجاد Dataset Parameter
15- بررسی نحوه ایجاد Cascade Parameter
16- بررسی نحوه Deploy کردن Reportها بر روی PBIRS
17- بررسی نحوه اعمال تنظیمات امنیتی بر روی Reportها

با استفاده از نرم افزار Report Builder ما می‌توانیم Paginated Report را ایجاد نماییم. برای مثال فرض کنید که شما نیاز دارید ریز خریدهای انجام شده در یک بازه زمانی یک ماه به ازای گروه کالاهای پوشاک را استخراج نمایید. برای این منظور می‌توانید این گزارش را با استفاده از Report Builder طراحی نمایید و آن را در پورتال PBIRS منتشر کنید تا کاربران بتوانند به داده‌های آن دسترسی پیدا کنند.

1- معرفی Power BI
2- معرفی اجزاء اصلی Power BI
3- بررسی نحوه نصب و راه‌اندازی Power BI Desktop RS
4- بررسی تفاوت Power BI Desktop و Power BI Desktop RS
5- بررسی نحوه اتصال Power BI Desktop RS به Data Warehouse
6- بررسی نحوه اتصال Power BI Desktop RS به OLAP
7- بررسی تاثیر ویژوال‌ها بر روی یکدیگر
8- بررسی استفاده از ویژوال‌های مختلف در Power BI Desktop RS
9- بررسی نحوه استفاده از Custom Visualها در Power BI Desktop RS

همه ما دوست داریم که بتوانیم داشبوردهایی حرفه‌ای برای Visualize کردن داده‌ها تهیه کنیم. یکی از ابزارهایی که می‌تواند کمک خوبی در این خصوص به ما بکند Power BI است. قدرت اعجاب انگیز این نرم‌افزار به گونه‌ای است که شما با چند کلیک کوچک در این نرم‌افزار می‌توانید داشبوردهایی حرفه‌ای را تولید کنید.

ما در طی این دوره شما را با این نرم‌افزار آشنا خواهیم کرد تا بتوانید داشبوردهای مدیریتی مناسب ایجاد کنید.

1- بررسی نحوه استفاده از نقشه در Power BI Desktop RS
2- بررسی نحوه کار با تاریخ شمسی در داشبوردهای ایجاد شده با Power BI Desktop RS
3- بررسی نحوه تاثیر Translation مربوط به Cube در اکسل
4- بررسی نحوه Deploy کردن داشبوردهای Power BI Desktop RS بر روی PBIRS
5- بررسی نحوه اعمال تنظیمات امنیتی بر روی داشبوردهای Power BI Desktop RS

برای ساخت یک داشبورد خوب باید امکانات موجود در پورتال PBIRS را بشناسید ما در طی این دوره امکانات این پورتال را به شما معرفی خواهیم کرد تا بتوانید با استفاده از آن تنظیمات مختلفی بر روی داشبوردهای مدیریتی را انجام دهید.

در انتهای دوره در سه حوزه و ماژول آموزشی انبار داده و ETL و OLAP و داشبورد به پیاده سازی پروژه های کاربردی و تمرین هایی می پردازیم. در بخش ظراحی انبار داده به مدت 3 ساعت در ابتدا نکات مهم در طراحی انبار داده را مرور خواهیم کرد سپس به پیاده سازی سناریوهای کاربردی در قالب تمرین و پروژه می پردازیم؛ از جمله: