dbt در ETL و ELT چیست و چه مزایایی دارد؟

ابزار dbt در ETL و ELT، راهی آسان برای سازمان‌دهی به جریان‌های داده‌ است. در سال ۲۰۰۶، کلایو هامبی(یکی از ریاضی‌دانان معروف)، «داده‌، نفت جدید است» را مطرح کرد. حرف او را امروزه به‌سادگی متوجه می‌شویم؛ چراکه کل امپراتوری‌ های فناوری با استفاده از قدرت داده‌ ها ساخته شده‌اند. شرکت‌ هایی مانند نتفلیکس، اوبر و آمازون برای ربودن گوی رقابت از همتایان خود مانند Blockbuster و شرکت‌ های تاکسی‌ سازی، از داده‌ها استفاده کرده‌اند. این داده‌ ها به‌جای اتکا به تصمیم یا دیدگاه مدیران، به خرد جمعی و رضایت کاربران متکی هستند. ما هم برای نشان دادن اهمیت داده‌ها این مقاله را نوشتیم، تا ابزار dbt را معرفی کنیم و مزایای آن را در ETL و ELT بشماریم.

چگونه بهترین روش بین ETL و ELT را انتخاب کنیم؟

توسعه یک زیرساخت عالی داده مستلزم برخورداری از ابزارها و فناوری‌ های مناسب، درکنار حضور مهندس داده برای پیاده‌سازی این فناوری است. پس بیایید با ابزار منبع باز و بسیار محبوب داده، یعنی dbt (ابزار ساخت داده) و نحوه قرار گرفتن آن در فرآیندهای ETL/ELT آشنا شویم.

dbt می‌تواند کارایی تیم‌های داده را افزایش دهد؛ اما چگونه؟ با ارائه یک ابزار تبدیل داده که کارهای خسته‌کننده‌ و زمان‌بر، اما ضروری را خودکار کند. نمونه‌ای از این کارها، مستندسازی و آزمایش مجموعه داده است که dbt به‌شکل‌ مستقیم در راه‌حل‌های خود جا داده است. این یکی از دلایل تمایل تیم‌های داده به افزایش انبار داده یا دریاچه داده خود است که با استفاده از dbt در ETL و ELT به‌راحتی ممکن می‌شود.

شرایط کنونی در فرآیند ETL چیست؟

حال بحث را با روند های اخیر در سازمان‌ های محرک داده ادامه می‌دهیم. در دنیای فناوری ابری که ذخیره‌ سازی و محاسبه داده‌ها به‌طور فزاینده‌ای ارزان‌ تر می‌شود، بسیاری از تیم‌ های داده رویکرد Data Pipeline خود را تغییر داده‌اند. این تغییر از ETL (Extract -> Transform -> Load) به ELT (Extract Load -> Transform) تبدیل شده است.

استخراج داده فرآیند اتصال به یک سیستم منبع داده است. خواه به‌ شکل مستقیم به یک پایگاه داده وصل شود یا از راه یک API و در نهایت، داده‌ های مد نظر را استخراج کند. این فرآیند می‌تواند به روش‌های مختلفی ازجمله پردازش دسته‌ای یا پخش استریم داده‌ها اتفاق بیفتد. برخی از تیم‌های داده از ابزار شخص ثالث SaaS مانند FiveTran یا Zapier استفاده می‌کنند. یا کد خود را در AWS Lamda یا Azure Functions برای تعامل با منبع داده می‌نویسند. تیم‌ های داده، این داده‌ ها را قبل از بارگیری در Data Warehouse خود تغییر می‌دهند. با این‌حال، بسیاری از Data Architecture های مدرن، امکان تغییر را پس از بارگذاری داده‌ ها در Data Warehouse فراهم می‌کنند.

چالش‌ های سازمانی در برابر داده‌های خام چیست؟

بارگذاری داده به‌معنای فرآیند “Load” داده‌ ها از سیستم‌های منبع، به انبار داده یا دریاچه داده است. بسته‌ به اینکه داده‌ های بارگیری‌ شده ساختار یافته، نیمه‌ ساختار یافته یا بدون ساختار هستند. برخی از گزینه‌ های محبوب برای ذخیره‌ سازی داده‌ها شامل AWS S3 bucket ، Azure Data Lake یا Snowflake است، که راه‌حل‌ های مدیریت‌ شده را ارائه می‌دهند. 

امروزه بسیاری از سازمان‌ ها ترجیح می‌دهند، که کل داده‌ های خام‌ شان را مانند فایل‌ های متنی، تصاویر، ویدیو ها، فایل‌ های CSV و غیره به‌ جای زیر مجموعه، در مجموعه داده بارگذاری کنند. این ترجیح با پیدایش پلتفرم‌ های ابری و مزایای آنها مانند مقیاس‌ پذیری، انعطاف‌ پذیری و مقرون‌ به‌ صرفه بودن به‌ وجود آمد. اما در این میان، سازمان‌ ها باید مراقب کنترل خود روی داده‌ های‌ شان باشند؛ چون اگر این کنترل بسیار کم باشد، ممکن است Data Lake را به Data Swamps تبدیل کند. بنابراین باید بهترین شیوه‌ های مدیریت داده ازجمله حاکمیت داده، کیفیت داده و مدیریت ابر داده در هر سازمانی پیاده شود. 

dbt چیست؟

«Data Build Tool» یا ابزار ساخت داده، یکی از ابزارهای منبع باز تبدیل داده است که به‌ طور فزاینده‌ ای در بین بسیاری از سازمان‌ ها، به محبوبیت زیادی رسید. dbt می‌تواند کارایی تیم‌های داده را با خودکار کردن امور روتین و خسته‌ کننده که انجام‌شان ضروری است، فرآیند مستندسازی تبدیل داده‌ها و آزمایش آنها را تا حد زیادی افزایش دهد. dbt SQL ماژولار را با بهترین روش‌ های مهندسی نرم‌ افزار ادغام می‌کند. تا تبدیل داده‌ها به‌شکلی قابل‌ عتماد، سریع و آسان پیش برود. با استفاده از dbt در فرآیند ETL و ELT، هر فردی که قادر به نوشتن دستورات SQL SELECT باشد، قدرت تولید مجموعه داده‌ های قابل‌ اعتماد و کاربردی را برای آنالیز داده‌ها خواهد داشت. dbt در فرآیند ETL و ELT، در یک لایه Orchestration و بالای انبار داده می‌نشیند تا به بهبود و تسریع تبدیل داده‌ها کمک کند.

مزایای dbt چیست؟

در این بخش به مزایای dbt اشاره می‌کنیم:

• dbt روی یک پروژه متن‌ باز “Free” و Cloud Agnostic مستقر شده است؛ یعنی روی تمام پلتفرم‌ های ابری اصلی مانند Google Cloud و Microsoft Azure کار می‌کند.
• امکان تبدیل داده‌ ها را با استفاده از کنترل ورژن گیت فراهم می‌کند.
• کنترل بیشتر روی اقدامات مدیریت داده را در ETL و ELT در اختیار متخصصان داده قرار می‌دهد.
• دارای ویژگی‌ های بسیار قدرت‌ مندی مانند تست‌ های اعتبار سنجی عمومی و سفارشی است.
• تبدیل داده با به‌ کارگیری بهترین شیوه‌ های مهندسی نرم‌افزار مانند Molecularity with Macros / Functions را امکان‌ پذیر می‌کند. بنابراین می‌توانیم استفاده مجدد از کد ها داشته باشیم.
• dbt در فرآیند ETL و ELT و هنگام تبدیل داده‌ ها، به‌طور خودکار نمودار های Lineage داده‌ای ایجاد می‌کند.
• در فرآیند تبدیل داده، dbt اسناد استاندارد شده را با استفاده از توضیحات داده می‌سازد.

سخن پایانی

ابزار dbt در ETL و ELT، راهی ساده و آسان برای تبدیل داده‌ها است. این ابزار به متخصصان داده کمک می‌کند تا وظایف روتین و خسته‌کننده را در یک جریان خودکار به انجام برسانند. امکان استفاده از dbt در پلتفرم‌ های ابری متداول، امکان تبدیل داده‌ها با استفاده از کنترل ورژن گیت و تست‌های اعتبار سنجی عمومی و سفارشی، این ابزار را گزینه‌ای جذاب در Data Science می‌کند. آیا تا به‌ حال تجربه استفاده از این ابزار را داشته‌اید؟ چگونه آن را در دیتابیس یا انبار داده خود پیاده کردید؟ نیک آموز در بخش نظرات، مشتاق خواندن دیدگاه و تجربه شما است؛ پس همین حالا آن را با ما در میان بگذارید.