در این وبکست داده‌های روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره می‌گردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری‌های تحلیل و شرکتهایی که حجم معاملات روزانه‌شان بیشتر است و … را روی این داده اجرا خواهیم کرد
0 تومان
۱. آشنایی با تعاریف و مفاهیم پایه مهندسی داده (۳۰ دقیقه)
۲. انجام مثال عملی پردازش داده‌های روزانه بورس ایران (حدود یک ساعت و ربع)
در این مثال کاربردی، داده‌های روزانه بورس ایران از سایت tsetmc به صورت خودکار و روزانه دانلود شده، بعد از پردازش اولیه و تبدیل قالب آن از اکسل به csv، درون HDFS (سیستم فایل هدوپ) ذخیره می‌گردد. سپس با تعریف جداولی در Hive و با استفاده از Hue، انواع کوئری های تحلیلی مانند بررسی شرکتهایی که نرخ خرید حقوقی به حقیقی آنها بیشتر از ۲ است، شرکتهایی که حجم معاملات روزانه‌شان از میانگین سه ماهه آنها بیشتر است و … را روی این داده اجرا خواهیم کرد. بنابراین در مثال اول، با فناوریهای زیر آشنا خواهیم شد:
Apache Airflow .۳به عنوان محور کار و هماهنگ کننده اصلی تسک‌های روزانه
۴. Hadoop برای ذخیره و اجرای کوئری های Hive
Hive .۵ به عنوان یک موتورپردازشی SQL بر روی هدوپ و داده‌های حجیم.
۶. Hue به عنوان یک محیط گرافیکی کار با Hive و اجرای کوئری‌ها
اسکرینشاتهایی از مراحل مختلف انجام این مثال عملی را در زیر می توانید مشاهده کنید :
۷. انجام مثال عملی پردازش توئیت‌های لحظه‌ای سایت سهامیاب (حدود یک ساعت و ربع)
سایت سهامیاب به عنوان یکی از مراجع اصلی کاربران بورس ایران، روزانه توئیت‌ها و مطالب مختلفی را از کاربران دریاف می‌کند. در مثال دوم این کارگاه عملی، سعی می‌کنیم این توئیت‌ها را دریافت کرده، پردازش نماییم و نهایتا آنها را ذخیره کنیم و علاوه بر ساخت داشبوردهای تحلیلی با الاستیک سرچ، به کمک اسپارک و امکانات پردازش جریان آن، اطلاعات مفیدی راجع به هر نماد بورسی در لحظه استخراج نماییم. در این مثال با ابزار زیر کار خواهیم کرد:
۸. Apache Nifi: به عنوان محور اصلی کار که طراحی خط پردازش داده، ما بر اساس آن انجام خواهد شد.
۹. Kafka به عنوان صف توزیع توئیت‌ها در شبکه
۱۰. Elastic Search: برای ذخیره توئیت‌ها
۱۱. Kibana: برای ساخت داشبوردهای لحظه‌ای
۱۲. Spark: برای پردازش توئیت‌ها و استخراج آمار مورد نیاز که از نسخه جدید اسپارک (نسخه ۳) و رهیافت نوین Spark Structured Streaming استفاده خواهد شد.
در زیر اسکرینشاتهایی از ابزار مورد استفاده و خروجی ها می توانید مشاهده کنید :
در مثال‌های عملی این وبنیار و دوره آموزش مقدماتی مهندسی داده، از داکر برای ساخت کلاسترهای پردازشی استفاده خواهیم کرد که با رم ۴ گیگابایت، تست شده و آماده استفاده هستند.
دانشجوی دکترای نرم‌افزار دانشگاه تهران، مدرس دانشگاه و فعال در حوزه مهندسی نرم‌افزار و علم داده که تمرکز کاری خود را در چند سال اخیر بر روی مطالعه و تحقیق در حوزه کلان‌داده و تولید محتوای تخصصی و کاربردی به زبان فارسی و انتشار آنها در سایت مهندسی داده گذاشته است. مدیریت پروژه‌های نرم‌افزاری و طراحی سامانه‌های مقیاس‌پذیر اطلاعاتی از دیگر فعالیتهای صورت گرفته ایشان در چند سال گذشته است.مهندس بنائی همچنین: مدرس دوره‌های BigDataی نیک آموز، دانشجوی دکترای نرم افزار و مدرس دانشگاه تهران، مجری و مشاور پروژه‌های کلان‌داده در سطح ملی و بین المللی، فعال در حوزه تولید محتوای تخصصی در زمینه پردازش داده می باشد.
پس از ثبت سفارش، به حساب کاربری خود در سایت نیک‌آموز وارد شده و در بخش «دانلودها» اقدام به دانلود جلسات دوره خریداری شده کنید
ارسال به تهران: طی 24 ساعت کاری پس از ثبت سفارش، هماهنگی لازم جهت ارسال بسته با پیک توسط تیم پشتیبانی با شما انجام خواهد شد.
ارسال به خارج از تهران: طی 24 ساعت کاری پس از ثبت سفارش، بسته ارسالی با آدرس ثبت شده در پنل کاربری، به اداره پست تحویل داده میشود. زمان ارسال و تحویل بسته به شما، منوط به زمانبندی اداره پست بوده و از 2 الی 5 روز کاری متغیر خواهد بود.
با همهگیری بیماری کووید در سراسر دنیا در سال 1398، مجموعه نیک‌آموز برگزاری کلاسهای حضوری را متوقف کرده و پس از آن تمامی دوره‌های آموزشی به صورت وبکستی و آنلاین برگزار شده است.
با توجه به بازخوردهای مثبت دانشجویان، کلاسهای حضوری صرفاً در صورت برگزاری بوتکمپها و مسترکلاسها خواهد بود و دوره‌های آموزشی زین پس به همان صورت آنلاین و وبکستی برگزار میشود.
تمام جشنوارهها از یک الی دو هفته قبل از طریق شبکههای اجتماعی اینستاگرام (@nikamooz)، وبسایت مجموعه (www.nikamooz.com) و همچنین ایمیلهای ارسالی به کاربران اطلاع‌رسانی می‌گردد.
در صورت تمایل به دریافت فاکتور رسمی، پیش از خرید خود با واحد فروش مجموعه (17 00 07 91 – 021) تماس حاصل نمایید.
شایان ذکر است، امکان صدور فاکتور رسمی پس از خرید آنلاین از سایت مجموعه به هیچ عنوان وجود نخواهد داشت.
Δ
ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی مینویسم.
سلام مهندس بنایی و مهندس طاهری عزیز
به امید یه پکیج عالی و کاربردی مهندسی داده از شما و سایت خوب نیک آموز.
دمتون گرم و خسته نباشید
با سلام و سپسا از شما بخاطر تلاش و کوشش تان من نتوانستم از ابتدای وب کست آنلاین باشم. فایل های این دوره روی سایت قرار می گیرد؟
درود بر شما بله فایل ها برای دوستان ایمیل خواهد شد و بعد از مدتی داخل پنل کاربری دوستان ثبت ننام کننده قابل دسترس خواهد بود. سپاس از همراهی شما
درود. من ثبت نام کردم ولی ایمیلی دریافت نکردم
درود بر شما فایل ها برای دوستان ایمیل خواهد شد و بعد از مدتی داخل پنل کاربری دوستان ثبت ننام کننده قابل دسترس خواهد بود. سپاس از همراهی شما
با وجود اینکه جناب مهندس نکته های خوبی توضیح دادند با این حال روش تدریس و توضیح شاپ بسیار خشک و خسته کننده و یکنواخت بود. کلاس آنلاین می بایست جذاب تر باشد ضمنا این دوره نیازمند اطلاعات عمیقی و پیش نیازهای زیادی می باشد لطفا زین پس دقیق تر بررسی کنید
درود بر شما جناب دکتر بنائی یکی از بهترین های ایران در زمینه مهندسی و پردازش داده می باشند. قطعا فیلد و رشته مهندسی و پردازش داده شامل پیش نیاز و دیدگاه عمیقی است، افرادی که قصد ورود به این حوزه را دارند حتما باید آشنا به SQL و طراحی دیتابیس‌های رابطه ای، پایتون، etlٍ ، data wharehouse و در بعضی موارد زبان برنامه نویس جاوا باشند. به زودی در نیک آموز دوره ای برای مبانی مهندس داده خواهیم داشت که تمامی موارد مدنظر ما است و داخل سرفصل ها گنجانده خواهد شد برای این دوره پیش نیازهایی درنظر گرفته شده است که بدون رعایت پیش نیازها مجوز شرکت در این دوره را نخواهید داشت.
با تشکر از همراهی شما
سیاوش عزیز تشکر از نظر شما به امید خدا به زودی با قدرت در این حوزه وارد خواهیم شد…
تجمیع و یکپارچه کردن کلیه این تکنولوژی ها در کنار یکدیگر، به شدت حیجان انگیز بود. علاوه بر وبینار، دوره آموزشی نیز برای این حوزه نیز تدارک دیده شده است ؟
