خانه مهندسی داده آموزش Data Lakehouse
دوره آفلاین Data Lakehouse برای ورود عملی به دنیای بیگ دیتا و زیرساخت‌های داده طراحی شده است؛ از نقش مهندس داده، کار با لینوکس، پایتون و جاوا، تا پایگاه‌های NoSQL مثل MongoDB، داده‌های جریانی با Kafka، تحلیل روی ClickHouse و Doris و پیاده‌سازی ETL/ELT و پردازش توزیع‌شده با Spark ،NiFi و Airflow همگی در قالب سناریوهای واقعی آموزش داده می‌شوند. این دوره به‌صورت حرفه‌ای و پروژه‌محور در نیک آموز ارائه می‌شود.
15,750,000 تومان قیمت اصلی 15,750,000 تومان بود.11,025,000 تومانقیمت فعلی 11,025,000 تومان است.
این فصل به عنوان دروازه ورود به دنیای Data Lakehouse، اهمیت فزاینده داده‌های حجیم و متنوع (بیگدیتا) و چالش‌های ناشی از ذخیره‌سازی و پردازش آنها را بررسی می‌کند. در این بخش، شما با مسیر شغلی مهندس داده، تفاوت‌های آن با نقش‌هایی مانند DBA و DevOps، و نقش حیاتی این تخصص در عصر هوش مصنوعی آشنا خواهید شد. همچنین، مفاهیم کلیدی مانند ذخیره‌سازی و پردازش توزیع‌شده و مقایسه مدل‌های ذخیره‌سازی سطری و ستونی و مدل‌های پردازشی Batch و Streaming به منظور ایجاد یک دیدگاه جامع از اکوسیستم داده‌های مدرن، معرفی می‌شوند.
از آنجایی که اغلب پلتفرم‌ها و ابزارهای بیگدیتا و پردازش توزیع‌شده بر روی سیستم‌عامل لینوکس اجرا می‌شوند، تسلط بر آن برای مهندسان داده ضروری است. این فصل اهمیت لینوکس را در زیرساخت‌های داده‌ای توضیح می‌دهد و بر روی مهمترین توزیع‌ها (مانند اوبونتو) متمرکز می‌شود. شما مهارت‌های عملی مورد نیاز برای کار با لینوکس، از جمله نصب، مدیریت اولیه توزیع‌های مختلف، تنظیمات شبکه و درک مفاهیم پارتیشن‌بندی و مدیریت دیسک را برای آماده‌سازی محیط‌های کاری داده‌محور، فرا خواهید گرفت.
این سرفصل به معرفی و بررسی دو زبان برنامه‌نویسی پایتون و جاوا به عنوان ستون‌های اصلی ابزارهای مهندسی داده می‌پردازد. این بخش بر تفاوت مهارت‌های برنامه‌نویسی مورد نیاز مهندس داده در مقایسه با مهندس نرم‌افزار تأکید دارد، در حالی که نکات و اصطلاحات مهم طراحی نرم‌افزار را جهت توسعه کدهای پایدار و بهینه، آموزش می‌دهد. بخش عملی شامل کدنویسی و اجرای سناریوهای رایج پردازش داده با هر دو زبان و همچنین استفاده از گیت برای کنترل نسخه کدها و مدیریت پروژه‌ها خواهد بود تا شرکت‌کنندگان آمادگی لازم برای کار با فریم‌ورک‌های مختلف داده‌ای را کسب کنند.
این فصل بر تنوع و اهمیت پایگاه‌های داده NoSQL تمرکز دارد، ویژگی‌های آنها را در مقابل مدل‌های سنتی ACID بررسی کرده و مفاهیمی مانند BASE را توضیح می‌دهد. بخش عملی شامل کار با پایگاه داده MongoDB و اصول مدل‌سازی داده در آن است. در ادامه، مبحث داده‌های جریانی (Stream Data) و چالش‌های آن معرفی می‌شود و پلتفرم Apache Kafka به عنوان ابزار اصلی ذخیره‌سازی جریانی، ساختار، کاربردها و مؤلفه‌های آن (مانند Kafka Connect) مورد بررسی قرار می‌گیرد. در نهایت، معماری و نحوه کار با Elasticsearch برای مدیریت و جستجوی داده‌های حجیم به عنوان یک ابزار قدرتمند تحلیلی، آموزش داده می‌شود.
این بخش به معرفی و کاربرد پلتفرم‌های تحلیلی و انبارهای داده مدرن که برای پردازش و تحلیل کارآمد داده‌های حجیم طراحی شده‌اند، می‌پردازد. ابتدا مفاهیم مدل‌سازی داده در انبار داده و تفاوت‌های کلیدی بین ذخیره‌سازی Row-base و Column-base که سرعت کوئری‌ها را تحت تأثیر قرار می‌دهند، مرور می‌شوند. سپس، شرکت‌کنندگان با پلتفرم‌های ستونی با کارایی بالا مانند ClickHouse و Apache Doris آشنا می‌شوند و نحوه کار، ویژگی‌ها و مزایای استفاده از آنها در محیط‌های تحلیلی پیچیده برای ارائه گزارش‌گیری‌های سریع و پاسخگویی به کوئری‌های تحلیلی را فرا می‌گیرند.
این فصل هسته اصلی کار یک مهندس داده را تشکیل می‌دهد و فرآیندهای حیاتی ETL و ELT و اهمیت کیفیت داده را پوشش می‌دهد. این بخش بر روی پیاده‌سازی عملی سناریوهای آماده‌سازی داده‌ها با استفاده از دستورات SQL و یک زبان برنامه‌نویسی تمرکز می‌کند. همچنین، استفاده از ابزارهای خاصی مانند Apache NiFi برای طراحی Data Flowهای جمع‌آوری داده و Apache Spark به عنوان یک فریم‌ورک پردازش توزیع‌شده مقیاس‌پذیر برای اجرای سناریوهای مختلف Spark SQL و خواندن/نوشتن در منابع داده‌ای NoSQL و تحلیلی آموزش داده می‌شود. در پایان، مفاهیم مربوط به فرمت‌های بهینه ذخیره‌سازی مانند ORC و Parquet و روش‌های Scheduling تسک‌های داده‌ای با استفاده از ابزارهایی مانند Airflow بررسی خواهند شد.
این فصل به‌صورت متمرکز به معماری مدرن Data Lakehouse و نحوه پیاده‌سازی عملی آن می‌پردازد و فرآیند ذخیره‌سازی و پردازش کلان‌داده را در یک بستر یکپارچه آموزش می‌دهد. در این بخش، راه‌اندازی یک Lakehouse بر اساس Best Practiceها، نوشتن داده با استفاده از ابزارهایی مانند Spark، Trino و NiFi و همچنین کوئری‌گرفتن و تحلیل داده‌ها با موتورهایی مانند Trino، Doris و ClickHouse به‌صورت عملی بررسی می‌شود. همچنین نقش Table Formatها، Data Catalog و Query Engineها در ایجاد یک زیرساخت تحلیلی مقیاس‌پذیر و قابل‌اعتماد تبیین خواهد شد.
معمار راهکارهای کلان داده و پلتفرم در شرکت ساعی (بیگ دیتای ایرانسل و رایتل) از ۱۴۰۰ تاکنون. مشاور مهندسی داده و دیتا پلتفرم در تکنولایف از ۱۴۰۳. مهندسی داده در الوپیک (زپ اکپرس سابق) از ۱۴۰۲. مدرس کلان داده و NoSQLها از سال ۱۳۹۷ تاکنون. معمار کلان داده در داتین از ۱۳۹۹ تا ۱۴۰۰. مهندس […]
Data Lakehouse یک معماری مدرن داده است که قابلیت‌های Data Lake و Data Warehouse را در یک بستر واحد ترکیب می‌کند. در این مدل، داده‌های حجیم و متنوع به‌صورت مقرون‌به‌صرفه ذخیره می‌شوند و هم‌زمان امکان انجام تحلیل‌های ساختاریافته، گزارش‌گیری و پردازش‌های پیشرفته روی همان داده‌ها فراهم است. این معماری (با حفظ کیفیت داده، امنیت و قابلیت اطمینان)، زیرساختی یکپارچه و مقیاس‌پذیر برای تحلیل داده و هوش مصنوعی ایجاد می‌کند.
منابع موجود به طور مستقیم تعریف جامعی از اینکه مهندسی داده چیست یا دقیقاً چه کسی مهندس داده است، ارائه نمی‌دهند. با این حال، این حوزه شامل بررسی اهمیت فزاینده داده‌های حجیم و متنوع (بیگ دیتا)، چالش‌های ذخیره‌سازی و پردازش آنها و نقش حیاتی این تخصص در عصر هوش مصنوعی است.
با انفجار حجم داده‌ها و ظهور عصر هوش مصنوعی نیاز به مهندسان داده بیش از هر زمان دیگری احساس می‌شود. آینده این شغل به سمت اتوماسیون فرآیندهای داده، استفاده از پلتفرم‌های ابری و پردازش‌های آنی (Real-time) در حرکت است. شرکت‌های بزرگ جهان و ایران به شدت به دنبال متخصصانی هستند که بتوانند چالش‌های بیگدیتا (Big Data) و پردازش‌های توزیع‌شده را مدیریت کنند.
برای ورود به این دوره، داشتن دانش کافی در زمینه SQL و تجربه کار با حداقل یکی از پایگاه داده‌های رابطه‌ای (RDBMS) ضروری است. از آنجایی که در طول دوره به مباحث برنامه‌نویسی و محیط‌های عملیاتی پرداخته می‌شود. آشنایی اولیه با منطق برنامه‌نویسی به شما کمک می‌کند تا از فصل‌های مربوط به پایتون، جاوا و لینوکس بیشترین بهره را ببرید.
این دوره بر تفاوت مهارت‌های برنامه‌نویسی مورد نیاز مهندس داده در مقایسه با مهندس نرم‌افزار تأکید دارد. همچنین، نکات و اصطلاحات مهم طراحی نرم‌افزار جهت توسعه کدهای پایدار و بهینه آموزش داده می‌شود. مهندسان داده در این دوره، اجرای سناریوهای مختلف آماده‌سازی داده به کمک زبان برنامه‌نویسی و دستورات SQL و انجام سناریوهای متنوع Ingestion با ابزارهایی مانند Apache NiFi را می‌آموزند.
Apache Spark به عنوان یک فریم‌ورک پردازش توزیع‌شده مقیاس‌پذیر معرفی شده است. کاربرد آن شامل اجرای سناریوهای مختلف Spark SQL و همچنین خواندن و نوشتن در منابع داده‌ای NoSQL و تحلیلی است.
در این دوره، به صورت تخصصی بر روی دو مورد از محبوب‌ترین و پرکاربردترین پایگاه‌های داده غیررابطه‌ای تمرکز می‌کنیم:
بله، Apache Kafka به عنوان پلتفرم اصلی برای ذخیره‌سازی داده‌های جریانی (Stream Storage) معرفی شده است. در این دوره ساختار، کاربردها و مؤلفه‌های آن مانند Kafka Connect مورد بررسی قرار می‌گیرد.
ClickHouse یکی از پلتفرم‌های ستونی با کارایی بالا است که برای پردازش و تحلیل کارآمد داده‌های حجیم طراحی شده است. کاربرد آن شامل استفاده در محیط‌های تحلیلی پیچیده برای ارائه گزارش‌گیری‌های سریع و پاسخگویی به کوئری‌های تحلیلی است.
در مدل ذخیره‌سازی سطری، داده‌ها به‌صورت رکوردهای کامل و پیوسته ذخیره می‌شوند که برای تراکنش‌های عملیاتی (OLTP) مناسب است، زیرا بازیابی یا به‌روزرسانی یک رکورد کامل سریع انجام می‌شود. در مقابل، در مدل ستونی، مقادیر هر ستون جداگانه ذخیره می‌شوند که امکان فشرده‌سازی بهینه و بازیابی سریع ستون‌های خاص را فراهم می‌کند. این ویژگی باعث می‌شود دیتابیس‌های ستونی برای پردازش تحلیلی (OLAP) و کوئری‌های تجمیعی ایده‌آل باشند، چرا که تنها داده‌های مرتبط بارگذاری شده و حجم I/O کاهش می‌یابد. در دوره‌های مدرن، با رشد نیاز به تحلیل داده‌های حجیم، دیتابیس‌های ستونی مانند ClickHouse و Apache Doris به‌دلیل کارایی بالا در پردازش کوئری‌های پیچیده و گزارش‌گیری، مورد تأکید قرار گرفته‌اند.
پردازش توزیع‌شده به تقسیم وظایف پردازشی بین چندین گره (Node) در یک شبکه اشاره دارد که امکان مقیاس‌پذیری، تحمل خطا و کارایی بالا را فراهم می‌کند. در لایه Ingestion، این مفهوم با ابزارهایی مانند Apache Kafka پیاده‌سازی می‌شود که داده‌ها را به‌صورت جریانی و موازی بین چندین پارتیشن توزیع می‌کند. در لایه Processing، فریم‌ورک‌هایی مانند Apache Spark از پردازش توزیع‌شده برای اجرای عملیات ETL/ELT استفاده می‌کنند و با تقسیم داده‌ها به بلوک‌های کوچک، پردازش موازی روی کلاسترها را ممکن می‌سازند. این معماری چالش‌های حجم بالای داده را با توزیع بار پردازشی حل می‌کند.
بله، امکان خرید اقساطی با اسنپ پی فراهم شده است. برای اطلاعات بیشتر می‌توانید با مشاورین مجموعه در تماس باشید یا راهنمای خرید اقساطی دوره آموزشی با اسنپ پی را مطالعه بفرمایید.
بله، دسکتاپ و صدای مدرس رکورد خواهد شد و در پلیر اختصاصی اسپات پلیر به همراه کلید لایسنس ارائه خواهد شد. شما در سیستم عامل‌های ویندوز، اندروید، آیفون (سیب، اناردون)، مک بوک می‌توانید فیلم را مشاهده کنید.
شما بصورت چت آنلاین می توانید سوالات خود را بپرسید و مدرس هم سوالات شما را پاسخ خواهد داد. البته توجه داشته باشید که این پروسه پاسخگویی هر ۴۰ دقیقه یکبار خواهد بود تا مدرس رشته کلام از دستش خارج نشود. البته که گروه تلگرامی دوره در اختیار شما است و می توانید سوالات خود را آنجا هم مطرح کنید.
بله؛ در نیک آموز امکان برگزاری دوره‌های سازمانی به‌صورت تخصصی فراهم شده است. به منظور ثبت درخواست، کافی است اطلاعات خود و دوره سازمانی مدنظر را در فرم درخواست آموزش سازمانی ثبت کنید تا ما با شما تماس بگیریم.
برای اینکه بتوانید، مشاوره / تدریس خصوصی بگیرید، لطفاً فرم درخواست مشاوره مدرسین را تکمیل نمایید تا کارشناسان ما با شما تماس بگیرند.
بله؛ شما می‌توانید از مشاوره‌های نیک آموز به‌عنوان راهنما در مسیر خود استفاده کنید. برای این منظور، لطفاً شماره خود را در فرم مشاوره صفحه دوره وارد کنید تا مشاوران نیک آموز با شما تماس بگیرند. شماره تماس فروش: ۰۲۱۹۱۰۷۰۰۱۷ – داخلی ۱
شماره تماس پشتیبانی: ۰۲۱۹۱۰۷۰۰۱۷ – داخلی ۲
شما می‌توانید با مراجعه به فرم درخواست مشاوره تخصصی، از متخصصان نیک آموز مشاوره دریافت کنید و با به‌کارگیری مهارت‌های تجربی تیم ما، در ارتباط با پروژه‌های تخصصی خود، راهنمایی دریافت کنید.
رضایت شما از دوره آموزشی و کمک به رفع مشکلات احتمالی برای ما اهمیت زیادی دارد. به همین دلیل، یک گروه پشتیبانی در تلگرام ایجاد شده است تا شما بتوانید درصورت نیاز، مسائل خود را در این بستر مطرح کنید. تا حداکثر ۴۸ ساعت کاری پس از ثبت نام در دوره، با شما تماس گرفته می‌شود و فرآیند عضویت شما در گروه تلگرام نهایی خواهد شد. توجه شود که در آینده، سیستم تیکتینگ راه‌اندازی می‌شود و فرآیند پشتیبانی از گروه تلگرامی به آن جا منتقل خواهد شد.
بازخورد و نتایج واقعی شرکت‌کنندگان پس از گذراندن آموزش
ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی مینویسم.
Δ
