توضیحات
دانلود فیلم بعد از برگزاری وبکست
3 ساعت آموزش فارسی و کاربردی
ارائه مثال‌ها و فایلهای جانبی
توصیه شده توسط صدها متخصص
حتما این فیلم را تماشا کنید
در راستای ارتقای دانش فنی علاقه‌مندان حوزه پردازش داده و با توجه به نیاز شرکتهای بزرگ ایرانی به متخصصین مهندسی داده، وب سایت آموزشی نیک‌آموز با بهره‌گیری از افراد شناخته شده این حوزه، دوره‌های متنوعی را برای مخاطبین خود طراحی نموده است که به تدریج ، اطلاع رسانی خواهند شد.
در این راستا، دوره مقدماتی آشنایی با مهندسی داده که یک کارگاه عملی و پروژه‌محور در این حوزه خواهد بود، جزء اولین دوره‌های طراحی شده در مسیر یادگیری مهندسی داده نیک آموز خواهد بود که وبینار مهندسی داده، مروری خواهد داشت بر آنچه در دوره مقدماتی مهندسی داده، برای علاقه‌مندان طراحی و آماده سازی شده است.
سرفصل‌های این وبکست آموزشی
- آشنایی با تعاریف و مفاهیم پایه مهندسی داده (۳۰ دقیقه)
- انجام مثال عملی پردازش داده‌های روزانه بورس ایران (حدود یک ساعت و ربع)
در این مثال کاربردی، داده‌های روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره می‌گردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری های تحلیلی مانند بررسی شرکتهایی که نرخ خرید حقوقی به حقیقی آنها بیشتر از ۲ است، شرکتهایی که حجم معاملات روزانه‌شان از میانگین سه ماهه آنها بیشتر است و … را روی این داده اجرا خواهیم کرد. بنابراین در مثال اول، با فناوریهای زیر آشنا خواهیم شد:
- Apache Airflow به عنوان محور کار و هماهنگ کننده اصلی تسک‌های روزانه
- Hadoop برای ذخیره و اجرای کوئری های Hive
- Hive به عنوان یک موتورپردازشی SQL بر روی هدوپ و داده‌های حجیم.
- Hue به عنوان یک محیط گرافیکی کار با Hive و اجرای کوئری‌ها
اسکرینشاتهایی از مراحل مختلف انجام این مثال عملی را در زیر می توانید مشاهده کنید :
شکل 1- نمونه‌ای از خط پردازش داده ایجاد شده در Airflow
شکل 2- نمونه ای از فایلهای دانلود شده روزانه بورس در HDFS
شکل 3 – تصویری از محیط Hue که جدول ایجاد شده در Hive را نشان میدهد
- انجام مثال عملی پردازش توئیت‌های لحظه‌ای سایت سهامیاب (حدود یک ساعت و ربع)
سایت سهامیاب به عنوان یکی از مراجع اصلی کاربران بورس ایران، روزانه توئیت‌ها و مطالب مختلفی را از کاربران دریاف می‌کند. در مثال دوم این کارگاه عملی، سعی می‌کنیم این توئیت‌ها را دریافت کرده، پردازش نماییم و نهایتا آنها را ذخیره کنیم و علاوه بر ساخت داشبوردهای تحلیلی با الاستیک سرچ، به کمک اسپارک و امکانات پردازش جریان آن، اطلاعات مفیدی راجع به هر نماد بورسی در لحظه استخراج نماییم. در این مثال با ابزار زیر کار خواهیم کرد:
- Apache Nifi: به عنوان محور اصلی کار که طراحی خط پردازش داده، ما بر اساس آن انجام خواهد شد.
- Kafka به عنوان صف توزیع توئیت‌ها در شبکه
- Elastic Search: برای ذخیره توئیت‌ها
- Kibana: برای ساخت داشبوردهای لحظه‌ای
- Spark: برای پردازش توئیت‌ها و استخراج آمار مورد نیاز که از نسخه جدید اسپارک (نسخه ۳) و رهیافت نوین Spark Structured Streaming استفاده خواهد شد.
در زیر اسکرینشاتهایی از ابزار مورد استفاده و خروجی ها می توانید مشاهده کنید :
شکل 4- تصویری از محیط آپاچی نایفای برای پردازش لحظه‌ای توئیت‌های بورسی
شکل 5- داشبورد اولیه طراحی شده برای پایش توئیت‌های لحظه‌ای بورس به کمک کیبانا
شکل 6 – مشاهده توئیت‌های دریافتی به صورت لحه‌ای در آپاچی کافکا
در مثال‌های عملی این وبنیار و دوره آموزش مقدماتی مهندسی داده، از داکر برای ساخت کلاسترهای پردازشی استفاده خواهیم کرد که با رم ۴ گیگابایت، تست شده و آماده استفاده هستند.
مدرس این وبکست آموزشی چه کسی است؟
مجتبی بنائی [مشاوره، مدرس و متخصص مهندسی داده]
دانشجوی دکترای نرم‌افزار دانشگاه تهران، مدرس دانشگاه و فعال در حوزه مهندسی نرم‌افزار و علم داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است. مدیریت پروژه‌های نرم‌افزاری و طراحی سامانه‌های مقیاس‌پذیر اطلاعاتی از دیگر فعالیتهای صورت گرفته ایشان در چند سال گذشته است.
- مدرس دوره‌های BigDataی نیک آموز
- دانشجوی دکترای نرم افزار و مدرس دانشگاه تهران
- مجری و مشاور پروژه‌های کلان‌داده در سطح ملی و بین المللی
- فعال در حوزه تولید محتوای تخصصی در زمینه پردازش داده
با خرید این وبکست چه چیزهایی بدست می‌آورید؟
مشخصات کلی وبکست
عنوان : وبکست آشنایی با مهندسی و پردازش داده
مخاطبین: برنامه‌نویسان و علاقه مندان به حوزه مهندسی و پردازش داده
نحوه دسترسی: دانلود بلافاصله بعد از خرید
مدت زمان :۳ ساعت
مدیریت وبکست: فرید طاهری مدیریت نیک آموز
مدرس: مجتبی بناپی
مبلغ: ۹۸۰۰ تومان – ۰ تومان (تخفیف ۱۰۰ درصد)
پاسخ به سوالات متداول در مورد این وبکست آموزشی
1- روی دکمه ثبت نام در وبکست را کلیک کنید تا به سبد خرید هدایت شوید.
2- مراحل خرید اعم از لاگین، تکمیل اطلاعات و پرداخت اینترنتی را انجام دهید.
3- در انتها و بعد از پرداخت ثبت نام شما با موفقیت انجام شده است.
4- دو دقیقه بعد از ثبت نام ایمیل خود را بررسی نمایید اطلاعات مربوط به شرکت در وبکست برای شما ایمیل شده است.
خیلی از دوستان به ما می‌گویند قیمت بالا باعث می‌شود تا محصول آموزشی را نخریم ولی در حقیقت قیمت ملاک تصمیم گیری نیست، ما مشتریان زیادی داریم که محصولات آموزشی گران قیمت ما را خریداری کرده‌اند و بشدت راضی هستند و همیشه هم در حال پیشرفت و کسب درآمد بالا هستند. ما این وبکست را 9800 تومان و با 100 درصد تخفیف 0 تومان قرار دادیم تا بهانه قیمت را نداشته باشید و کیفیت تدریس را نیز مشاهده کنید.
سید سیاوش گلچوبیان (مالک تایید شده) – :
تجمیع و یکپارچه کردن کلیه این تکنولوژی ها در کنار یکدیگر، به شدت حیجان انگیز بود.
علاوه بر وبینار، دوره آموزشی نیز برای این حوزه نیز تدارک دیده شده است ؟
آرزو محمدزاده (مالک تایید شده) – :
درود بر شما
بله به زودی دوره مربوط مهندسی داده را در نیک آموز خواهیم داشت.
سپاس از همراهی شما
مسعود طاهری – :
سیاوش عزیز تشکر از نظر شما
به امید خدا به زودی با قدرت در این حوزه وارد خواهیم شد…
سارا جوان (مالک تایید شده) – :
با وجود اینکه جناب مهندس نکته های خوبی توضیح دادند با این حال روش تدریس و توضیح شاپ بسیار خشک و خسته کننده و یکنواخت بود. کلاس آنلاین می بایست جذاب تر باشد
ضمنا این دوره نیازمند اطلاعات عمیقی و پیش نیازهای زیادی می باشد
لطفا زین پس دقیق تر بررسی کنید
آرزو محمدزاده (مالک تایید شده) – :
درود بر شما
جناب دکتر بنائی یکی از بهترین های ایران در زمینه مهندسی و پردازش داده می باشند.
قطعا فیلد و رشته مهندسی و پردازش داده شامل پیش نیاز و دیدگاه عمیقی است، افرادی که قصد ورود به این حوزه را دارند حتما باید آشنا به SQL و طراحی دیتابیس‌های رابطه ای، پایتون، etlٍ ، data wharehouse و در بعضی موارد زبان برنامه نویس جاوا باشند.
به زودی در نیک آموز دوره ای برای مبانی مهندس داده خواهیم داشت که تمامی موارد مدنظر ما است و داخل سرفصل ها گنجانده خواهد شد برای این دوره پیش نیازهایی درنظر گرفته شده است که بدون رعایت پیش نیازها مجوز شرکت در این دوره را نخواهید داشت.
با تشکر از همراهی شما
shariaty.ir (مالک تایید شده) – :
درود.
من ثبت نام کردم ولی ایمیلی دریافت نکردم
آرزو محمدزاده (مالک تایید شده) – :
درود بر شما
فایل ها برای دوستان ایمیل خواهد شد و بعد از مدتی داخل پنل کاربری دوستان ثبت ننام کننده قابل دسترس خواهد بود.
سپاس از همراهی شما
علی عبدلی (مالک تایید شده) – :
با سلام و سپسا از شما بخاطر تلاش و کوشش تان
من نتوانستم از ابتدای وب کست آنلاین باشم. فایل های این دوره روی سایت قرار می گیرد؟
آرزو محمدزاده (مالک تایید شده) – :
درود بر شما
بله فایل ها برای دوستان ایمیل خواهد شد و بعد از مدتی داخل پنل کاربری دوستان ثبت ننام کننده قابل دسترس خواهد بود.
سپاس از همراهی شما
مسعود (مالک تایید شده) – :
سلام مهندس بنایی و مهندس طاهری عزیز
به امید یه پکیج عالی و کاربردی مهندسی داده از شما و سایت خوب نیک آموز.
دمتون گرم و خسته نباشید
علی نوری شیرازی – :
سلام، ارادت
من آگهی این وبکست ر دیر دیدم و الان زمان برگزاری آن تمام شده، آیا فیلمی از آن موجود و امکان ارسال آن هست؟
هومن شیروانی (مالک تایید شده) – :
سلام و عرض ادب
بسیار وبکست جامعی در این حوزه بود، نکته بسیار عالی این وبکست شیوه‌ی تدریس مهندس بنائی بود که با استفاده از مثال‌های کاربردی و بروز به ارایه سرفصل‌های مورد نظر پرداختند.
(مالک تایید شده) – :
درود بر شما
فیلم این وبکشت امروز برای دوستان ارسال خواهدش د.
با تشکر از همراهی شما
علی رضا (مالک تایید شده) – :
بی صبرانه منتظر دوره جامع جناب آقای دکتر بنایی هستیم. ای کاش تاریخش رو اعلام می کرید. هیچ دوره آموزشی تو ایران بطور خاص برای تربیت و آموزش وظایف Data Engineer تا حالا وجود نداشته و این دوره گپ بزرگی رو پر می کنه. ممنون از آقای مهندس طاهری و مجموعه نیک آموز برای فراهم کردن بستر آموزش این دوره
(مالک تایید شده) – :
درود بر شما
به زودی ثبت نام این دوره اطلاع سانی خواهد شد.
سپاس از همراهی شما
محمد عرفانی – :
واقعا این وبکست ها و وبینارهایی که برگزار میکنید کمک زیادی میکنه به آشنایی و علاقه مند شدن به مباحث
mohsenghavami20 (مالک تایید شده) – :
سلام و درود به خاطر مشکل اینترنت نتوانستم همه وبینار را ببینم ، در کدام قسمت پنل کاربری قرار دادید؟
سپاس از مهندس بنایی و آرزوی توفیق و موفقیت برای ایشون
ان شالله ادامه دار باشه
ممنون از وبسایت نیک آموز
آرزو محمدزاده (مالک تایید شده) – :
درود بر شما
داخل پنل کاربری شما بخش دانلود ها به دانلود فایل های وبکست دسترسی دارید . می توانید هر زمان تمایل داشتید دانلود و استفاده نمایید.
سپاس از همراهی شما