در این وبکست دادههای روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره میگردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئریهای تحلیل و شرکتهایی که حجم معاملات روزانهشان بیشتر است و … را روی این داده اجرا خواهیم کرد
0 تومان
عنوان دوره:وبکست آشنایی با مهندسی و پردازش داده
پشتیبانی تلگرامی:این محصول پشتیبانی تلگرامی ندارد
طول دوره:3 ساعت
مخاطبین:برنامهنویسان و علاقه مندان به حوزه مهندسی و پردازش داده
تاریخ شروع دوره:این دوره ضبط و آماده دانلود میباشد.
آموزش مهارت محور
انتقال دانش تجربی اساتید
رفع اشکالات و پشتیبانی فنی
به روز رسانی دورهها
معرفی برترینها به بازار کار
دانلود اسکریپتها و مثالها
شارژ کیف پول کاربری
سر فصل های دوره
1 فصل
12 قسمت
3 ساعت
1
سرفصلهای این وبکست آموزشی
12 قسمت
۱. آشنایی با تعاریف و مفاهیم پایه مهندسی داده (۳۰ دقیقه)
۲. انجام مثال عملی پردازش دادههای روزانه بورس ایران (حدود یک ساعت و ربع)
در این مثال کاربردی، دادههای روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره میگردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری های تحلیلی مانند بررسی شرکتهایی که نرخ خرید حقوقی به حقیقی آنها بیشتر از ۲ است، شرکتهایی که حجم معاملات روزانهشان از میانگین سه ماهه آنها بیشتر است و … را روی این داده اجرا خواهیم کرد. بنابراین در مثال اول، با فناوریهای زیر آشنا خواهیم شد:
Apache Airflow .۳به عنوان محور کار و هماهنگ کننده اصلی تسکهای روزانه
۴. Hadoop برای ذخیره و اجرای کوئری های Hive
Hive .۵ به عنوان یک موتورپردازشی SQL بر روی هدوپ و دادههای حجیم.
۶. Hue به عنوان یک محیط گرافیکی کار با Hive و اجرای کوئریها
اسکرینشاتهایی از مراحل مختلف انجام این مثال عملی را در زیر می توانید مشاهده کنید :
۷. انجام مثال عملی پردازش توئیتهای لحظهای سایت سهامیاب (حدود یک ساعت و ربع)
سایت سهامیاب به عنوان یکی از مراجع اصلی کاربران بورس ایران، روزانه توئیتها و مطالب مختلفی را از کاربران دریاف میکند. در مثال دوم این کارگاه عملی، سعی میکنیم این توئیتها را دریافت کرده، پردازش نماییم و نهایتا آنها را ذخیره کنیم و علاوه بر ساخت داشبوردهای تحلیلی با الاستیک سرچ، به کمک اسپارک و امکانات پردازش جریان آن، اطلاعات مفیدی راجع به هر نماد بورسی در لحظه استخراج نماییم. در این مثال با ابزار زیر کار خواهیم کرد:
۸. Apache Nifi: به عنوان محور اصلی کار که طراحی خط پردازش داده، ما بر اساس آن انجام خواهد شد.
۹. Kafka به عنوان صف توزیع توئیتها در شبکه
۱۰. Elastic Search: برای ذخیره توئیتها
۱۱. Kibana: برای ساخت داشبوردهای لحظهای
۱۲. Spark: برای پردازش توئیتها و استخراج آمار مورد نیاز که از نسخه جدید اسپارک (نسخه ۳) و رهیافت نوین Spark Structured Streaming استفاده خواهد شد.
در زیر اسکرینشاتهایی از ابزار مورد استفاده و خروجی ها می توانید مشاهده کنید :
در مثالهای عملی این وبنیار و دوره آموزش مقدماتی مهندسی داده، از داکر برای ساخت کلاسترهای پردازشی استفاده خواهیم کرد که با رم ۴ گیگابایت، تست شده و آماده استفاده هستند.
پس از ثبت سفارش، به حساب کاربری خود در سایت نیکآموز وارد شده و در بخش «دانلودها» اقدام به دانلود جلسات دوره خریداری شده کنید
نحوه دریافت دورههای ارسالی چگونه است؟
ارسال به تهران: طی 24 ساعت کاری پس از ثبت سفارش، هماهنگی لازم جهت ارسال بسته با پیک توسط تیم پشتیبانی با شما انجام خواهد شد.
ارسال به خارج از تهران: طی 24 ساعت کاری پس از ثبت سفارش، بسته ارسالی با آدرس ثبت شده در پنل کاربری، به اداره پست تحویل داده میشود. زمان ارسال و تحویل بسته به شما، منوط به زمانبندی اداره پست بوده و از 2 الی 5 روز کاری متغیر خواهد بود.
آیا امکان برگزاری کلاسها به صورت حضوری وجود دارد؟
با همهگیری بیماری کووید در سراسر دنیا در سال 1398، مجموعه نیکآموز برگزاری کلاسهای حضوری را متوقف کرده و پس از آن تمامی دورههای آموزشی به صورت وبکستی و آنلاین برگزار شده است.
با توجه به بازخوردهای مثبت دانشجویان، کلاسهای حضوری صرفاً در صورت برگزاری بوتکمپها و مسترکلاسها خواهد بود و دورههای آموزشی زین پس به همان صورت آنلاین و وبکستی برگزار میشود.
نحوه اطلاعرسانی جشنوارههای نیکآموز چگونه است؟
تمام جشنوارهها از یک الی دو هفته قبل از طریق شبکههای اجتماعی اینستاگرام (@nikamooz)، وبسایت مجموعه (www.nikamooz.com) و همچنین ایمیلهای ارسالی به کاربران اطلاعرسانی میگردد.
صدور فاکتور رسمی چگونه است؟
در صورت تمایل به دریافت فاکتور رسمی، پیش از خرید خود با واحد فروش مجموعه (17 00 07 91 – 021) تماس حاصل نمایید.
شایان ذکر است، امکان صدور فاکتور رسمی پس از خرید آنلاین از سایت مجموعه به هیچ عنوان وجود نخواهد داشت.
درخواست مشاوره
برای کسب اطلاعات بیشتر درباره این دوره با تکمیل فرم زیر، از مشاوره رایگان استفاده نمائید.
سلام اشخاصی مث من که فقط sql server بلدن مهندسی داده مناسب آن ها خواهد بود؟
تیم فنی نیک آموز
پیش نیاز این دوره آموزشی آشنایی با کوئری نویسی و دوره آموزشی کوئری نویسی می باشد اگر به این مباحث آشنا هستید بله این دوره مناسب شماست
mohsenghavami20
سلام و درود به خاطر مشکل اینترنت نتوانستم همه وبینار را ببینم ، در کدام قسمت پنل کاربری قرار دادید؟
سپاس از مهندس بنایی و آرزوی توفیق و موفقیت برای ایشون
ان شالله ادامه دار باشه
ممنون از وبسایت نیک آموز
mohsenghavami20
سلام و درود به خاطر مشکل اینترنت نتوانستم همه وبینار را ببینم ، در کدام قسمت پنل کاربری قرار دادید؟
سپاس از مهندس بنایی و آرزوی توفیق و موفقیت برای ایشون
ان شالله ادامه دار باشه
ممنون از وبسایت نیک آموز
آرزو محمدزاده
درود بر شما
داخل پنل کاربری شما بخش دانلود ها به دانلود فایل های وبکست دسترسی دارید . می توانید هر زمان تمایل داشتید دانلود و استفاده نمایید.
سپاس از همراهی شما
Msef.mail@gmail.com
واقعا این وبکست ها و وبینارهایی که برگزار میکنید کمک زیادی میکنه به آشنایی و علاقه مند شدن به مباحث
علی رضا
بی صبرانه منتظر دوره جامع جناب آقای دکتر بنایی هستیم. ای کاش تاریخش رو اعلام می کرید. هیچ دوره آموزشی تو ایران بطور خاص برای تربیت و آموزش وظایف Data Engineer تا حالا وجود نداشته و این دوره گپ بزرگی رو پر می کنه. ممنون از آقای مهندس طاهری و مجموعه نیک آموز برای فراهم کردن بستر آموزش این دوره
AREZOO.GEO
درود بر شما
به زودی ثبت نام این دوره اطلاع سانی خواهد شد.
سپاس از همراهی شما
هومن شیروانی
سلام و عرض ادب
بسیار وبکست جامعی در این حوزه بود، نکته بسیار عالی این وبکست شیوهی تدریس مهندس بنائی بود که با استفاده از مثالهای کاربردی و بروز به ارایه سرفصلهای مورد نظر پرداختند.
AREZOO.GEO
درود بر شما
فیلم این وبکشت امروز برای دوستان ارسال خواهدش د.
با تشکر از همراهی شما
هومن شیروانی
سلام و عرض ادب
بسیار وبکست جامعی در این حوزه بود، نکته بسیار عالی این وبکست شیوهی تدریس مهندس بنائی بود که با استفاده از مثالهای کاربردی و بروز به ارایه سرفصلهای مورد نظر پرداختند.
علی نوری شیرازی
سلام، ارادت
من آگهی این وبکست ر دیر دیدم و الان زمان برگزاری آن تمام شده، آیا فیلمی از آن موجود و امکان ارسال آن هست؟
علی نوری شیرازی
سلام، ارادت
من آگهی این وبکست ر دیر دیدم و الان زمان برگزاری آن تمام شده، آیا فیلمی از آن موجود و امکان ارسال آن هست؟
مسعود
سلام مهندس بنایی و مهندس طاهری عزیز
به امید یه پکیج عالی و کاربردی مهندسی داده از شما و سایت خوب نیک آموز.
Issac Natan
سلام اشخاصی مث من که فقط sql server بلدن مهندسی داده مناسب آن ها خواهد بود؟
تیم فنی نیک آموز
پیش نیاز این دوره آموزشی آشنایی با کوئری نویسی و دوره آموزشی کوئری نویسی می باشد اگر به این مباحث آشنا هستید بله این دوره مناسب شماست
mohsenghavami20
سلام و درود به خاطر مشکل اینترنت نتوانستم همه وبینار را ببینم ، در کدام قسمت پنل کاربری قرار دادید؟
سپاس از مهندس بنایی و آرزوی توفیق و موفقیت برای ایشون
ان شالله ادامه دار باشه
ممنون از وبسایت نیک آموز
mohsenghavami20
سلام و درود به خاطر مشکل اینترنت نتوانستم همه وبینار را ببینم ، در کدام قسمت پنل کاربری قرار دادید؟
سپاس از مهندس بنایی و آرزوی توفیق و موفقیت برای ایشون
ان شالله ادامه دار باشه
ممنون از وبسایت نیک آموز
آرزو محمدزاده
درود بر شما
داخل پنل کاربری شما بخش دانلود ها به دانلود فایل های وبکست دسترسی دارید . می توانید هر زمان تمایل داشتید دانلود و استفاده نمایید.
سپاس از همراهی شما
Msef.mail@gmail.com
واقعا این وبکست ها و وبینارهایی که برگزار میکنید کمک زیادی میکنه به آشنایی و علاقه مند شدن به مباحث
علی رضا
بی صبرانه منتظر دوره جامع جناب آقای دکتر بنایی هستیم. ای کاش تاریخش رو اعلام می کرید. هیچ دوره آموزشی تو ایران بطور خاص برای تربیت و آموزش وظایف Data Engineer تا حالا وجود نداشته و این دوره گپ بزرگی رو پر می کنه. ممنون از آقای مهندس طاهری و مجموعه نیک آموز برای فراهم کردن بستر آموزش این دوره
AREZOO.GEO
درود بر شما
به زودی ثبت نام این دوره اطلاع سانی خواهد شد.
سپاس از همراهی شما
هومن شیروانی
سلام و عرض ادب
بسیار وبکست جامعی در این حوزه بود، نکته بسیار عالی این وبکست شیوهی تدریس مهندس بنائی بود که با استفاده از مثالهای کاربردی و بروز به ارایه سرفصلهای مورد نظر پرداختند.
AREZOO.GEO
درود بر شما
فیلم این وبکشت امروز برای دوستان ارسال خواهدش د.
با تشکر از همراهی شما
هومن شیروانی
سلام و عرض ادب
بسیار وبکست جامعی در این حوزه بود، نکته بسیار عالی این وبکست شیوهی تدریس مهندس بنائی بود که با استفاده از مثالهای کاربردی و بروز به ارایه سرفصلهای مورد نظر پرداختند.
علی نوری شیرازی
سلام، ارادت
من آگهی این وبکست ر دیر دیدم و الان زمان برگزاری آن تمام شده، آیا فیلمی از آن موجود و امکان ارسال آن هست؟
علی نوری شیرازی
سلام، ارادت
من آگهی این وبکست ر دیر دیدم و الان زمان برگزاری آن تمام شده، آیا فیلمی از آن موجود و امکان ارسال آن هست؟
مسعود
سلام مهندس بنایی و مهندس طاهری عزیز
به امید یه پکیج عالی و کاربردی مهندسی داده از شما و سایت خوب نیک آموز.
دمتون گرم و خسته نباشید