بررسی Data Mart در Data Warehouse

 Data Mart چیست؟

Data Mart بر روی یک ناحیه عملکردی واحد از یک سازمان متمرکز است و شامل زیرمجموعه‌ای از داده‌های ذخیره شده در یک Data Warehouse است. Data Mart یک نسخه فشرده از Data Warehouse است و برای استفاده توسط یک بخش، واحد یا مجموعه‌ای از کاربران خاص در یک سازمان طراحی شده است. به‌عنوان‌مثال، بازاریابی، فروش، منابع انسانی یا امور مالی اغلب توسط یک بخش واحد در یک سازمان کنترل می‌شود.

Data Mart معمولاً داده‌ها را از منابع کمتری در مقایسه با انبار داده (Data Warehouse) می‌گیرد. دیتا مارت ها از نظر اندازه کوچک هستند و در مقایسه با Datawarehouse انعطاف‌پذیرتر هستند.

در این آموزش، شما یاد خواهید گرفت که:

• چرا به Data Mart نیاز داریم؟
• انواع دیتا مارت

1. Dependent Data Mart
2. دیتا مارت مستقل
3. دیتا مارت هیبریدی

• مراحل پیاده‌سازی Datamart

1. طراحی
2. ساخت‌وساز
3. جمعیت کردن
4. دسترسی
5. مدیریت

• بهترین شیوه‌ها برای پیاده‌سازی Data Mart
• مزایا و معایب Data Mart

چرا به Data Mart نیاز داریم؟

• Data Mart به دلیل کاهش حجم داده به افزایش زمان پاسخگویی به کاربر کمک می‌کند.
• دسترسی آسان به داده‌های درخواستی را فراهم می‌کند.
• پیاده‌سازی Data mart در مقایسه با Datawarehouse ساده‌تر است. درعین‌حال، هزینه اجرای Data Mart در مقایسه با اجرای یک انبار داده کمتر است.
• در مقایسه با Data Warehouse، دیتامارت سریع‌تر است. در صورت تغییر در مدل، دیتامارت به دلیل اندازه کوچک‌تر می‌تواند سریع‌تر ساخته شود.
• Datamart توسط یک کارشناس موضوعی واحد تعریف می‌شود. برعکس، انبار داده توسط SMEهای میان‌رشته‌ای از حوزه‌های مختلف تعریف می‌شود. ازاین‌رو، Data mart در مقایسه با Datawarehouse در قابل تغییر است.
• داده‌ها پارتیشن‌بندی شده‌اند و اجازه دسترسی بسیار جزئی را می‌دهند.
• داده‌ها را می‌توان بر روی پلتفرم‌های سخت‌افزاری و نرم‌افزاری مختلف تقسیم‌بندی و ذخیره کرد.

انواع دیتا مارت

سه نوع دیتا مارت وجود دارد:

• Dependent: نمودارهای داده وابسته با رسم داده‌ها به طور مستقیم از منابع عملیاتی یا منابع خارجی و یا هر دو ساخته می‌شوند.
• Independent: دیتا مارت مستقل بدون استفاده از انبار داده مرکزی ایجاد می‌شود.
• ترکیبی: این نوع دیتامارت ها می‌توانند داده‌ها را از انبارهای داده یا سیستم‌های عملیاتی بگیرند.

Dependent Data Mart

Data Mart وابسته اجازه می‌دهد تا داده‌های سازمان را از یک انبار داده مدیریت کند. این مثال مزایای تمرکز بر روی دیتا مارت را بررسی می‌کند. اگر نیاز به توسعه یک یا چند دیتا مارت فیزیکی دارید، باید آنها را به‌عنوان Data Mart وابسته پیکربندی کنید.

Dependent Data Mart در انبار داده می‌تواند به دو روش مختلف ساخته شود. در جایی که کاربر می‌تواند بسته به نیاز به هر دو دیتا مارت و انبار داده دسترسی داشته باشد، یا جایی که دسترسی فقط به دیتا مارت محدود می‌شود. روش دوم بهینه نیست، زیرا گاهی اوقات به‌عنوان آشغال‌های داده از آن یاد می‌شود. در آشغال‌های داده، همه داده‌ها با یک منبع مشترک شروع می‌شوند، اما از بین می‌روند و غیرقابل‌دسترسی می‌شوند.

دیتا مارت مستقل

یک دیتا مارت مستقل بدون استفاده از انبار داده مرکزی ایجاد می‌شود. این نوع Data Mart یک گزینه ایده‌آل برای گروه‌های کوچک در یک سازمان است.

یک دیتا مارت مستقل نه با انبار داده‌های سازمانی و نه با هیچ دیتا مارت دیگری ارتباط ندارد. در Independent data mart، داده‌ها به طور جداگانه وارد می‌شوند و تجزیه‌وتحلیل آن نیز به‌صورت مستقل انجام می‌شود.

پیاده‌سازی داده‌های مستقل برخلاف هدف ساخت انبار داده است. اول‌ازهمه، شما به یک ذخیره‌سازی متمرکز و ثابت از داده‌های سازمانی نیاز دارید که بتواند توسط چندین کاربر با علایق مختلف که اطلاعات بسیار متفاوتی می‌خواهند آنالیز شود.

Hybrid Data Mart

یک دیتا مارت ترکیبی ورودی‌های مختلف از چندین منبع مختلف از انبار داده را ترکیب می‌کند. این نوع دیتا مارت وقتی که می‌خواهید یکپارچه‌سازی موقتی داشته باشید، مفید است. مانند زمانی که یک گروه یا محصول جدید به سازمان اضافه می‌شود.

این بهترین نمونه دیتا مارتی است که برای چندین محیط پایگاه‌داده و اجرای سریع برای هر سازمانی مناسب است. همچنین به کمترین تلاش برای پاک‌سازی داده‌ها نیاز دارد. Hybrid Data mart از ساختارهای ذخیره‌سازی بزرگ پشتیبانی می‌کند و برای برنامه‌های کوچک کاربردی داده‌محور مناسب است.

مراحل پیاده‌سازی Datamart

پیاده‌سازی Data Mart یک‌رویه ارزشمند اما پیچیده است. در اینجا مراحل دقیق برای پیاده‌سازی Data Mart آمده است

طراحی

طراحی مرحله اول اجرای Data Mart است. تمام وظایف بین شروع درخواست برای داده‌های مارت تا جمع‌آوری اطلاعات در مورد الزامات را پوشش می‌دهد. در نهایت طرح منطقی و فیزیکی Data Mart را ایجاد می‌کنیم.

مرحله طراحی شامل وظایف زیر است:

• جمع‌آوری الزامات تجاری و فنی و شناسایی منابع داده.
• انتخاب زیرمجموعه مناسب از داده‌ها.
• طراحی ساختار منطقی و فیزیکی دیتا مارت.

داده‌ها را می‌توان بر اساس معیارهای زیر تقسیم‌بندی کرد:

• تاریخ
• واحد تجاری یا عملکردی
• جغرافیا
• هر ترکیبی از موارد بالا

داده‌ها را می‌توان در سطح برنامه یا DBMS تقسیم‌بندی کرد. اگرچه توصیه می‌شود که در سطح برنامه پارتیشن‌بندی شود، زیرا هرساله با تغییر در محیط کسب‌وکار، مدل‌های مختلف داده را امکان‌پذیر می‌کند.

به چه محصولات و فناوری‌هایی نیاز دارید؟

یک ‌قلم و کاغذ ساده کافی است. اگرچه ابزارهایی که به شما در ایجاد نمودار UML یا ER کمک می‌کنند، می‌توانند داده‌های متا را نیز به طرح‌های منطقی و فیزیکی شما اضافه کنند.

ساخت و ساز

این مرحله دوم اجراست. این مرحله شامل ایجاد پایگاه‌داده فیزیکی و ساختارهای منطقی است.

این مرحله شامل وظایف زیر است:

پایگاه‌داده فیزیکی طراحی شده در مرحله قبل در این مرحله پیاده‌سازی می‌شود. به‌عنوان‌مثال، اشیاء طرح‌واره پایگاه‌داده مانند جدول، نمایه‌ها، نماها و غیره ایجاد می‌شوند.

به چه محصولات و فناوری‌هایی نیاز دارید؟

برای ایجاد یک دیتا مارت به یک سیستم مدیریت پایگاه‌داده رابطه‌ای نیاز دارید. RDBMS دارای چندین ویژگی است که برای موفقیت یک Data Mart لازم است.

• مدیریت ذخیره‌سازی: یک RDBMS داده‌ها را برای ایجاد، افزودن و حذف داده‌ها ذخیره و مدیریت می‌کند.
• دسترسی سریع به داده‌ها: با پرس‌وجوی SQL می‌توانید به‌راحتی بر اساس شرایط و فیلترهای خاص به داده‌ها دسترسی داشته باشید.
• حفاظت از داده‌ها: سیستم RDBMS همچنین راهی برای بازیابی از خرابی‌های سیستم مانند قطع برق ارائه می‌دهد. همچنین اجازه می‌دهد تا داده‌ها را از این نسخه‌های پشتیبان در صورت خرابی دیسک بازیابی کنید.
• پشتیبانی چندکاربره: سیستم مدیریت داده دسترسی هم‌زمان را ارائه می‌دهد، این امکان را برای چندین کاربر برای دسترسی و تغییر داده‌ها بدون دخالت یا بازنویسی تغییرات ایجاد شده توسط کاربر دیگر ارائه می‌دهد.
• امنیت: سیستم RDMS همچنین راهی برای تنظیم دسترسی کاربران به اشیا و انواع خاصی از عملیات فراهم می‌کند.

جمعیت

در مرحله سوم، داده‌ها در دیتا مارت پر می‌شوند.

مرحله جمع‌آوری شامل وظایف زیر است:

• منبع داده برای نگاشت داده‌های هدف
• استخراج داده‌های منبع
• عملیات پاک‌سازی و تبدیل روی داده‌ها
• بارگذاری داده‌ها در دیتا مارت
• ایجاد و ذخیره داده‌های بزرگ

به چه محصولات و فناوری‌هایی نیاز دارید؟

شما این وظایف جمعیت را با استفاده از ابزار ETL (Extract Transform Load) انجام می‌دهید. این ابزار به شما اجازه می‌دهد به منابع داده نگاه کنید و نقشه‌برداری منبع تا هدف را انجام دهید، داده‌ها را استخراج کنید، آن‌ها را تبدیل کنید، پاک کنید و دوباره آن‌ها را در دیتا مارت بارگذاری کنید.

در این فرایند، برخی داده‌های بزرگ مربوط به اینکه داده‌ها از کجا آمده‌اند، چقدر جدید هستند، چه نوع تغییراتی در داده‌ها ایجاد شده است و چه سطحی از خلاصه‌سازی انجام شده است، ایجاد می‌کند.

دسترسی

دسترسی چهارمین مرحله است که شامل استفاده از داده‌ها می‌شود، از این دادده‌ها در پرس‌وجوها، ایجاد گزارش‌ها، نمودارها و انتشار آنها استفاده می‌شود. کاربر نهایی پرس‌وجوها را به پایگاه‌داده ارسال می‌کند و نتایج پرس‌وجوها را نمایش می‌دهد.

مرحله دسترسی باید وظایف زیر را انجام دهد:

• یک‌لایه متا راه‌اندازی کنید که ساختارهای پایگاه‌داده و نام اشیاء را به اصطلاحات تجاری ترجمه می‌کند. این مورد به کاربران غیرفنی کمک می‌کند تا به‌راحتی به Data mart دسترسی پیدا کنند.
• ساختارهای پایگاه‌داده را تنظیم و نگهداری کنید.
• در صورت نیاز API و رابطه‌ها را تنظیم کنید.

به چه محصولات و فناوری‌هایی نیاز دارید؟

شما می‌توانید با استفاده از خط فرمان (cmd) و یا رابط کاربری گرافیکی به دیتا مارت دسترسی داشته باشید. رابط کاربری گرافیکی ترجیح داده می‌شود زیرا می‌تواند به‌راحتی نمودار تولید کند و در مقایسه با خط فرمان کاربرپسند است.

مدیریت

این آخرین مرحله از فرایند پیاده‌سازی Data Mart است. این مرحله وظایف مدیریتی مانند:

• مدیریت دسترسی کاربر
• بهینه‌سازی و تنظیم دقیق سیستم برای دستیابی به عملکرد پیشرفته.
• افزودن و مدیریت داده‌های تازه به دیتا مارت.
• برنامه‌ریزی سناریوهای بازیابی و اطمینان از دردسترس‌بودن سیستم در صورت خرابی سیستم.

به چه محصولات و فناوری‌هایی نیاز دارید؟

می‌توانید از رابط کاربری گرافیکی یا خط فرمان برای مدیریت داده‌ها استفاده کنید.

بهترین شیوه‌ها برای پیاده‌سازی Data Marts

در زیر بهترین روش‌هایی که باید در فرایند پیاده‌سازی Data Mart رعایت کنید آمده است:

• منبع یک Data Mart باید ساختارمند باشد.
• چرخه پیاده‌سازی Data Mart باید در دوره‌های زمانی کوتاه اندازه‌گیری شود، به‌عنوان‌مثال، در هفته‌ها به‌جای ماه‌ها یا سال‌ها اندازه‌گیری شود.
• مهم است که همه ذی‌نفعان را در مرحله برنامه‌ریزی و طراحی درگیر کنیم، زیرا پیاده‌سازی داده‌ها می‌تواند پیچیده باشد.
• هزینه‌های سخت‌افزار و نرم‌افزار، شبکه و پیاده‌سازی Data Mart باید دقیقاً در برنامه شما در نظر گرفته شود.
• حتی اگر Data mart بر روی همان سخت‌افزار ایجاد شده باشد، ممکن است به نرم‌افزارهای متفاوتی برای رسیدگی به درخواست‌های کاربر نیاز داشته باشد. قدرت پردازش اضافی و نیازهای ذخیره دیسک باید برای پاسخ سریع به کاربر ارزیابی شود.
• یک دیتا مارت ممکن است در مکانی متفاوت از انبار داده باشد. به همین دلیل مهم است که اطمینان حاصل شود که آنها ظرفیت شبکه کافی برای مدیریت حجم داده‌های موردنیاز برای انتقال داده‌ها به انباره داده را دارند.
• هزینه پیاده‌سازی باید زمان صرف شده برای فرایند بارگذاری Datamart را دسته‌بندی کند. زمان بارگذاری با افزایش پیچیدگی تبدیل‌ها افزایش می‌یابد.

مزایا و معایب Data Mart

مزایا

• دیتا مارت شامل زیرمجموعه‌ای از داده‌های کل سازمان هستند. این داده برای گروه خاصی از افراد در یک سازمان ارزشمند است.
• این یک جایگزین مقرون‌به‌صرفه برای یک انبار داده است که می‌تواند هزینه‌های زیادی که برای ساخت انبار داده می‌شود را از بین ببرد.
• Data Mart امکان دسترسی سریع‌تر به داده‌ها را فراهم می‌کند.
• استفاده از Data Mart آسان است زیرا به طور خاص برای نیازهای کاربران طراحی شده است؛ بنابراین یک دیتامارت می‌تواند فرایندهای تجاری را سریع‌تر کند.
• Data Mart در مقایسه با سیستم‌های Data Warehouse به زمان پیاده‌سازی کمتری نیاز دارد. پیاده‌سازی Data Mart سریع‌تر است زیرا فقط باید زیرمجموعه داده‌ها را متمرکز کنید.
• دیتا مارت شامل داده‌های تاریخی است که به تحلیلگر امکان می‌دهد روند داده‌ها را تعیین کند.

معایب

• در بسیاری از مواقع، شرکت‌ها بسیاری از داده‌های متفاوت و نامرتبط را بدون منفعت ایجاد می‌کنند. حفظ آن می‌تواند به یک مانع بزرگ تبدیل شود.
• Data Mart نمی‌تواند تجزیه‌وتحلیل داده‌های کل شرکت را ارائه دهد زیرا مجموعه‌داده‌های آن محدود است.

جمع بندی بررسی Data Mart در Data Warehouse 

• تعریف Data Mart: Data Mart به‌عنوان زیرمجموعه‌ای از Data Warehouse تعریف می‌شود که بر روی یک ناحیه عملکردی واحد از یک سازمان متمرکز است.
• Data Mart به دلیل کاهش حجم داده‌ها به افزایش زمان پاسخگویی کاربر کمک می‌کند.
• سه نوع دیتا مارت عبارت‌اند از ۱) وابسته ۲) مستقل ۳) ترکیبی
• مراحل اجرای مهم Data Mart عبارت‌اند از: ۱) طراحی ۲) ساخت ۳ جمعیت ۴) دسترسی و ۵) مدیریت
• چرخه پیاده‌سازی Data Mart باید در دوره‌های زمانی کوتاه اندازه‌گیری شود، به‌عنوان‌مثال، در هفته‌ها به‌جای ماه‌ها یا سال‌ها اندازه‌گیری شود.
• دیتا مارت جایگزین مقرون‌به‌صرفه‌ای برای انبار داده است که می‌تواند هزینه‌های زیادی را که برای ساخت انباره داده می‌شود را از بین ببرد.
• دیتا مارت نمی‌تواند تجزیه‌وتحلیل داده‌های کل شرکت را ارائه دهد زیرا مجموعه‌داده‌ها محدود است.

منبع

https://www.guru99.com/data-mart-tutorial.html