dbt در ETL و ELT چیست و چه مزایایی دارد؟

dbt در فرآیند ETL و ELT، راهی آسان برای سازمان‌دهی به جریان‌های داده‌ است. در سال ۲۰۰۶، کلایو هامبی، یکی از ریاضی‌دانان معروف، «داده‌ نفت جدید است» را مطرح کرد. حرف او را امروزه به‌سادگی متوجه می‌شویم؛ چراکه کل امپراتوری‌های فناوری با استفاده از قدرت داده‌ها ساخته شده‌اند. شرکت‌هایی مانند نتفلیکس، اوبر و آمازون برای ربودن گوی رقابت از همتایان خود مانند Blockbuster و شرکت‌های تاکسی‌سازی، از داده‌ها استفاده کرده‌اند. این داده‌ها به‌جای اتکا به تصمیم یا دیدگاه مدیران، به خرد جمعی و رضایت کاربران متکی هستند.

ما هم برای نشان دادن اهمیت داده‌ها این مقاله را نوشتیم تا ابزار dbt را معرفی کنیم و مزایای آن را در ETL و ELT بشماریم.

چگونه بهترین روش بین ETL و ELT را انتخاب کنیم؟

توسعه یک زیرساخت عالی داده مستلزم برخورداری از ابزارها و فناوری‌های مناسب، درکنار حضور مهندس داده برای پیاده‌سازی این فناوری است. پس بیایید با ابزار منبع باز و بسیار محبوب داده، یعنی dbt (ابزار ساخت داده) و نحوه قرار گرفتن آن در فرآیندهای ETL/ELT آشنا شویم.

dbt می‌تواند کارایی تیم‌های داده را افزایش دهد؛ اما چگونه؟ 

با ارائه یک ابزار تبدیل داده که کارهای خسته‌کننده‌ و زمان‌بر – اما ضروری – را خودکار کند. نمونه‌ای از این کارها، مستندسازی و آزمایش مجموعه داده است که dbt به‌شکل‌ مستقیم در راه‌حل‌های خود جا داده است. این یکی از دلایل تمایل تیم‌های داده به افزایش انبار داده یا دریاچه داده خود است که با استفاده از dbt در ETL و ELT به‌راحتی ممکن می‌شود.

شرایط کنونی در فرآیند ETL چیست؟

حال بحث را با روندهای اخیر در سازمان‌های محرک داده ادامه می‌دهیم. در دنیای فناوری ابری که ذخیره‌سازی و محاسبه داده‌ها به‌طور فزاینده‌ای ارزان‌تر می‌شود، بسیاری از تیم‌های داده رویکرد Data Pipeline خود را تغییر داده‌اند. این تغییر از ETL (Extract -> Transform -> Load) به ELT (Extract Load -> Transform) تبدیل شده است.

استخراج داده فرآیند اتصال به یک سیستم منبع داده است؛ خواه به‌شکل مستقیم به یک پایگاه داده وصل شود یا از راه یک API و درنهایت، داده‌های مدنظر را استخراج کند. این فرآیند می‌تواند به روش‌های مختلفی ازجمله پردازش دسته‌ای یا پخش استریم داده‌ها اتفاق بیفتد. 

برخی از تیم‌های داده از ابزار شخص ثالث SaaS مانند FiveTran یا Zapier استفاده می‌کنند یا کد خود را در AWS Lamda یا Azure Functions برای تعامل با منبع داده می‌نویسند.

تیم‌های داده، این داده‌ها را قبل از بارگیری در Data Warehouse خود تغییر می‌دهند. بااین‌حال، بسیاری از Data Architectureهای مدرن، امکان تغییر را پس از بارگذاری داده‌ها در Data Warehouse فراهم می‌کنند.

چالش‌ های سازمانی در برابر داده‌های خام چیست؟

بارگذاری داده به‌معنای فرآیند “Load” داده‌ها از سیستم‌های منبع، به انبار داده یا دریاچه داده است؛ بسته‌به این‌که داده‌های بارگیری‌شده ساختاریافته، نیمه‌ساختاریافته یا بدون ساختار هستند. 

برخی از گزینه‌های محبوب برای ذخیره‌سازی داده‌ها شامل AWS S3 bucket ، Azure Data Lake یا Snowflake است که راه‌حل‌های مدیریت‌شده را ارائه می‌دهند. 

امروزه بسیاری از سازمان‌ها ترجیح می‌دهند که کل داده‌های خام‌شان را – مانند فایل‌های متنی، تصاویر، ویدیوها، فایل‌های CSV و غیره – به‌جای زیرمجموعه، در مجموعه داده بارگذاری کنند. این ترجیح با پیدایش پلتفرم‌های ابری و مزایای آن‌ها مانند مقیاس‌پذیری، انعطاف‌پذیری و مقرون‌به‌صرفه بودن به‌وجود آمد. 

اما در این میان، سازمان‌ها باید مراقب کنترل خود روی داده‌های‌شان باشند؛ چون اگر این کنترل بسیار کم باشد، ممکن است Data Lake را به Data Swamps تبدیل کند. بنابراین باید بهترین شیوه‌های مدیریت داده ازجمله حاکمیت داده، کیفیت داده و مدیریت ابر داده در هر سازمانی پیاده شود. 

dbt چیست؟

«Data Build Tool» یا ابزار ساخت داده، یکی از ابزارهای منبع باز تبدیل داده است که به‌طور فزاینده‌ای در بین بسیاری از سازمان‌ها، به محبوبیت زیادی رسید. dbt می‌تواند کارایی تیم‌های داده را با خودکار کردن امور روتین و خسته‌کننده که انجام‌شان ضروری است، فرآیند مستندسازی تبدیل داده‌ها و آزمایش آن‌ها را تا حد زیادی افزایش دهد.

dbt SQL ماژولار را با بهترین روش‌های مهندسی نرم‌افزار ادغام می‌کند تا تبدیل داده‌ها به‌شکلی قابل‌اعتماد، سریع و آسان پیش برود. با استفاده از dbt در فرآیند ETL و ELT، هر فردی که قادر به نوشتن دستورات SQL SELECT باشد، قدرت تولید مجموعه داده‌های قابل‌اعتماد و کاربردی را برای آنالیز داده‌ها خواهد داشت. 

dbt در فرآیند ETL و ELT، در یک لایه Orchestration و بالای انبار داده می‌نشیند تا به بهبود و تسریع تبدیل داده‌ها کمک کند.

مزایای dbt چیست؟

در این بخش به مزایای dbt اشاره می‌کنیم.

• dbt روی یک پروژه متن‌ باز “Free” و Cloud Agnostic مستقر شده است؛ یعنی روی تمام پلتفرم‌های ابری اصلی – مانند Google Cloud و Microsoft Azure کار می‌کند؛ 
• امکان تبدیل داده‌ها را با استفاده از کنترل ورژن گیت فراهم می‌کند؛
• کنترل بیشتر روی اقدامات مدیریت داده را در ETL و ELT در اختیار متخصصان داده قرار می‌دهد؛
• دارای ویژگی‌های بسیار قدرت‌مندی مانند تست‌های اعتبارسنجی عمومی و سفارشی است؛
• تبدیل داده با به‌کارگیری بهترین شیوه‌های مهندسی نرم‌افزار مانند Molecularity with Macros / Functions را امکان‌پذیر می‌کند. بنابراین می‌توانیم استفاده مجدد از کدها داشته باشیم؛
• dbt در فرآیند ETL و ELT و هنگام تبدیل داده‌ها، به‌طور خودکار نمودارهای Lineage داده‌ای ایجاد می‌کند؛
• در فرآیند تبدیل داده، dbt اسناد استانداردشده را با استفاده از توضیحات داده می‌سازد.

آنچه در dbt در ETL و ELT خواندیم

ابزار dbt در ETL و ELT، راهی ساده و آسان برای تبدیل داده‌ها است. این ابزار به متخصصان داده کمک می‌کند تا وظایف روتین و خسته‌کننده را در یک جریان خودکار به انجام برسانند. امکان استفاده از dbt در پلتفرم‌های ابری متداول، امکان تبدیل داده‌ها با استفاده از کنترل ورژن گیت و تست‌های اعتبارسنجی عمومی و سفارشی، این ابزار را گزینه‌ای جذاب در Data Science می‌کند.

آیا تابه‌حال تجربه استفاده از این ابزار را داشته‌اید؟ چگونه آن را در دیتابیس یا انبار داده خود پیاده کردید؟ ما در بخش نظرات، مشتاق خواندن دیدگاه و تجربه شما هستیم. پس همین حالا آن را با ما درمیان بگذارید.