در این وبکست داده‌های روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره می‌گردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری‌های تحلیل و شرکتهایی که حجم معاملات روزانه‌شان بیشتر است و … را روی این داده اجرا خواهیم کرد
0 تومان
۱. آشنایی با تعاریف و مفاهیم پایه مهندسی داده (۳۰ دقیقه)
۲. انجام مثال عملی پردازش داده‌های روزانه بورس ایران (حدود یک ساعت و ربع)
در این مثال کاربردی، داده‌های روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره می‌گردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری های تحلیلی مانند بررسی شرکتهایی که نرخ خرید حقوقی به حقیقی آنها بیشتر از ۲ است، شرکتهایی که حجم معاملات روزانه‌شان از میانگین سه ماهه آنها بیشتر است و … را روی این داده اجرا خواهیم کرد. بنابراین در مثال اول، با فناوریهای زیر آشنا خواهیم شد:
Apache Airflow .۳به عنوان محور کار و هماهنگ کننده اصلی تسک‌های روزانه
۴. Hadoop برای ذخیره و اجرای کوئری های Hive
Hive .۵ به عنوان یک موتورپردازشی SQL بر روی هدوپ و داده‌های حجیم.
۶. Hue به عنوان یک محیط گرافیکی کار با Hive و اجرای کوئری‌ها
اسکرینشاتهایی از مراحل مختلف انجام این مثال عملی را در زیر می توانید مشاهده کنید :
۷. انجام مثال عملی پردازش توئیت‌های لحظه‌ای سایت سهامیاب (حدود یک ساعت و ربع)
سایت سهامیاب به عنوان یکی از مراجع اصلی کاربران بورس ایران، روزانه توئیت‌ها و مطالب مختلفی را از کاربران دریاف می‌کند. در مثال دوم این کارگاه عملی، سعی می‌کنیم این توئیت‌ها را دریافت کرده، پردازش نماییم و نهایتا آنها را ذخیره کنیم و علاوه بر ساخت داشبوردهای تحلیلی با الاستیک سرچ، به کمک اسپارک و امکانات پردازش جریان آن، اطلاعات مفیدی راجع به هر نماد بورسی در لحظه استخراج نماییم. در این مثال با ابزار زیر کار خواهیم کرد:
۸. Apache Nifi: به عنوان محور اصلی کار که طراحی خط پردازش داده، ما بر اساس آن انجام خواهد شد.
۹. Kafka به عنوان صف توزیع توئیت‌ها در شبکه
۱۰. Elastic Search: برای ذخیره توئیت‌ها
۱۱. Kibana: برای ساخت داشبوردهای لحظه‌ای
۱۲. Spark: برای پردازش توئیت‌ها و استخراج آمار مورد نیاز که از نسخه جدید اسپارک (نسخه ۳) و رهیافت نوین Spark Structured Streaming استفاده خواهد شد.
در زیر اسکرینشاتهایی از ابزار مورد استفاده و خروجی ها می توانید مشاهده کنید :
در مثال‌های عملی این وبنیار و دوره آموزش مقدماتی مهندسی داده، از داکر برای ساخت کلاسترهای پردازشی استفاده خواهیم کرد که با رم ۴ گیگابایت، تست شده و آماده استفاده هستند.
دانشجوی دکترای نرم‌افزار دانشگاه تهران، مدرس دانشگاه و فعال در حوزه مهندسی نرم‌افزار و علم داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است. مدیریت پروژه‌های نرم‌افزاری و طراحی سامانه‌های مقیاس‌پذیر اطلاعاتی از دیگر فعالیتهای صورت گرفته ایشان در چند سال گذشته است.مهندس بنائی همچنین: مدرس دوره‌های BigDataی نیک آموز، دانشجوی دکترای نرم افزار و مدرس دانشگاه تهران، مجری و مشاور پروژه‌های کلان‌داده در سطح ملی و بین المللی، فعال در حوزه تولید محتوای تخصصی در زمینه پردازش داده می باشد.
پس از ثبت سفارش، به حساب کاربری خود در سایت نیک‌آموز وارد شده و در بخش «دانلودها» اقدام به دانلود جلسات دوره خریداری شده کنید
ارسال به تهران: طی 24 ساعت کاری پس از ثبت سفارش، هماهنگی لازم جهت ارسال بسته با پیک توسط تیم پشتیبانی با شما انجام خواهد شد.
ارسال به خارج از تهران: طی 24 ساعت کاری پس از ثبت سفارش، بسته ارسالی با آدرس ثبت شده در پنل کاربری، به اداره پست تحویل داده میشود. زمان ارسال و تحویل بسته به شما، منوط به زمانبندی اداره پست بوده و از 2 الی 5 روز کاری متغیر خواهد بود.
با همهگیری بیماری کووید در سراسر دنیا در سال 1398، مجموعه نیک‌آموز برگزاری کلاسهای حضوری را متوقف کرده و پس از آن تمامی دوره‌های آموزشی به صورت وبکستی و آنلاین برگزار شده است.
با توجه به بازخوردهای مثبت دانشجویان، کلاسهای حضوری صرفاً در صورت برگزاری بوتکمپها و مسترکلاسها خواهد بود و دوره‌های آموزشی زین پس به همان صورت آنلاین و وبکستی برگزار میشود.
تمام جشنوارهها از یک الی دو هفته قبل از طریق شبکههای اجتماعی اینستاگرام (@nikamooz)، وبسایت مجموعه (www.nikamooz.com) و همچنین ایمیلهای ارسالی به کاربران اطلاع‌رسانی می‌گردد.
در صورت تمایل به دریافت فاکتور رسمی، پیش از خرید خود با واحد فروش مجموعه (17 00 07 91 – 021) تماس حاصل نمایید.
شایان ذکر است، امکان صدور فاکتور رسمی پس از خرید آنلاین از سایت مجموعه به هیچ عنوان وجود نخواهد داشت.
Δ
ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی مینویسم.
سلام اشخاصی مث من که فقط sql server بلدن مهندسی داده مناسب آن ها خواهد بود؟
پیش نیاز این دوره آموزشی آشنایی با کوئری نویسی و دوره آموزشی کوئری نویسی می باشد اگر به این مباحث آشنا هستید بله این دوره مناسب شماست
سلام و درود به خاطر مشکل اینترنت نتوانستم همه وبینار را ببینم ، در کدام قسمت پنل کاربری قرار دادید؟ سپاس از مهندس بنایی و آرزوی توفیق و موفقیت برای ایشون ان شالله ادامه دار باشه ممنون از وبسایت نیک آموز
درود بر شما داخل پنل کاربری شما بخش دانلود ها به دانلود فایل های وبکست دسترسی دارید . می توانید هر زمان تمایل داشتید دانلود و استفاده نمایید. سپاس از همراهی شما
واقعا این وبکست ها و وبینارهایی که برگزار میکنید کمک زیادی میکنه به آشنایی و علاقه مند شدن به مباحث
بی صبرانه منتظر دوره جامع جناب آقای دکتر بنایی هستیم. ای کاش تاریخش رو اعلام می کرید. هیچ دوره آموزشی تو ایران بطور خاص برای تربیت و آموزش وظایف Data Engineer تا حالا وجود نداشته و این دوره گپ بزرگی رو پر می کنه. ممنون از آقای مهندس طاهری و مجموعه نیک آموز برای فراهم کردن بستر آموزش این دوره
درود بر شما به زودی ثبت نام این دوره اطلاع سانی خواهد شد. سپاس از همراهی شما
سلام و عرض ادب بسیار وبکست جامعی در این حوزه بود، نکته بسیار عالی این وبکست شیوه‌ی تدریس مهندس بنائی بود که با استفاده از مثال‌های کاربردی و بروز به ارایه سرفصل‌های مورد نظر پرداختند.
درود بر شما
فیلم این وبکشت امروز برای دوستان ارسال خواهدش د. با تشکر از همراهی شما
سلام، ارادت من آگهی این وبکست ر دیر دیدم و الان زمان برگزاری آن تمام شده، آیا فیلمی از آن موجود و امکان ارسال آن هست؟
سلام مهندس بنایی و مهندس طاهری عزیز
به امید یه پکیج عالی و کاربردی مهندسی داده از شما و سایت خوب نیک آموز.
دمتون گرم و خسته نباشید
