وبکست معرفی مهندسی داده

۱. آشنایی با تعاریف و مفاهیم پایه مهندسی داده (۳۰ دقیقه)

۲. انجام مثال عملی پردازش داده‌های روزانه بورس ایران (حدود یک ساعت و ربع)

در این مثال کاربردی، داده‌های روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS‌ (سیستم فایل هدوپ) ذخیره می‌گردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری های تحلیلی مانند بررسی شرکتهایی که نرخ خرید حقوقی به حقیقی آنها بیشتر از ۲ است، شرکتهایی که حجم معاملات روزانه‌شان از میانگین سه ماهه آنها بیشتر است و … را روی این داده اجرا خواهیم کرد. بنابراین در مثال اول، با فناوریهای زیر آشنا خواهیم شد:

Apache Airflow .۳به عنوان محور کار و هماهنگ کننده اصلی تسک‌های روزانه

۴. Hadoop برای ذخیره و اجرای کوئری های Hive

Hive .۵ به عنوان یک موتورپردازشی SQL‌ بر روی هدوپ و داده‌های حجیم.

۶. Hue‌ به عنوان یک محیط گرافیکی کار با Hive‌ و اجرای کوئری‌ها

اسکرین‌شات‌هایی از مراحل مختلف انجام این مثال عملی را در زیر می توانید مشاهده کنید :

۷. انجام مثال عملی پردازش توئیت‌های لحظه‌ای سایت سهامیاب (حدود یک ساعت و ربع)

سایت سهام‌یاب به عنوان یکی از مراجع اصلی کاربران بورس ایران، روزانه توئیت‌ها و مطالب مختلفی را از کاربران دریاف می‌کند. در مثال دوم این کارگاه عملی، سعی می‌کنیم این توئیت‌ها را دریافت کرده، پردازش نماییم و نهایتا آنها را ذخیره کنیم و علاوه بر ساخت داشبوردهای تحلیلی با الاستیک سرچ، به کمک اسپارک و امکانات پردازش جریان آن، اطلاعات مفیدی راجع به هر نماد بورسی در لحظه استخراج نماییم. در این مثال با ابزار زیر کار خواهیم کرد:‌

۸. Apache Nifi: به عنوان محور اصلی کار که طراحی خط پردازش داده، ما بر اساس آن انجام خواهد شد.

۹. Kafka‌ به عنوان صف توزیع توئیت‌ها در شبکه

۱۰. Elastic Search: برای ذخیره توئیت‌ها

۱۱. Kibana‌: برای ساخت داشبوردهای لحظه‌ای

۱۲. Spark: برای پردازش توئیت‌ها و استخراج آمار مورد نیاز که از نسخه جدید اسپارک (نسخه ۳) و رهیافت نوین Spark Structured Streaming استفاده خواهد شد.

در زیر اسکرین‌شاتهایی از ابزار مورد استفاده و خروجی ها می توانید مشاهده کنید :

در مثال‌های عملی این وبنیار و دوره آموزش مقدماتی مهندسی داده، از داکر برای ساخت کلاسترهای پردازشی استفاده خواهیم کرد که با رم ۴ گیگابایت، تست شده و آماده استفاده هستند.