نحوه برگزاری دوره: آنلاین
دوره DataOps
آموزش Data Platform Engineering
اطلاعات دوره
معرفی دوره
دوره Data Platform Engineering با تمرکز بر طراحی، استقرار و مدیریت پلتفرمهای داده بر بستر Kubernetes طراحی شده است. در این دوره، مفاهیم و ابزارهای موردنیاز برای ایجاد و مدیریت یک محیط دادهای مبتنی بر کانتینر معرفی میشوند. استفاده از Linux و Docker در کنار Kubernetes و قابلیتهای آن برای اجرای سرویسهای داده مورد بررسی قرار گرفته و موضوعاتی مانند مدیریت منابع، Storage ،Persistence ،High Availability ،Replication ،Backup و Recovery در ارتباط با پلتفرمهای داده آموزش داده میشوند.
دسترسی همیشگی به محتوا دوره
همه کلاسها ضبط میشوند و در هر زمان برای تمامی دانشجویان، چه آنلاین و چه حضوری، در دسترس خواهند بود!
پشتیبانی مستمر
در گروه اختصاصی دوره، پاسخ سؤالاتتان را بگیرید، پیشتیبانی دریافت کنید و با دیگر شرکتکنندگان در ارتباط باشید!
مدرک معتبر پایان دوره
با تکمیل دوره، مدرک پایان دوره دریافت کنید و مهارتهای خود را رسمی کنید!
گروه پرسش و پاسخ
سوال بپرسید، تجربه به اشتراک بگذارید و از دیگران یاد بگیرید، همه در یک فضای آموزشی فعال!
محتوای کاربردی، یادگیری موثر
هر آنچه میآموزید، مستقیماً در پروژهها و کار واقعی قابل استفاده است!
جلسه اول رایگان
اولین جلسه را بهصورت آنلاین و رایگان تجربه کنید، سپس با خیال راحت برای ادامه مسیر تصمیم بگیرید!
این دوره برای چه کسانی مناسب است؟
✔ مهندسان داده و پلتفرم داده
✔ مهندسان DevOps ،Cloud و SRE
✔ مدیران و کارشناسان پایگاهداده
✔ توسعهدهندگان بکاند و نرمافزار
✔ مهندسان Big Data و MLOps
✔ معماران داده و زیرساخت
✔ دانشجویان و پژوهشگران حوزه مهندسی داده و سیستمهای توزیعشده
مفاهیمی که یاد خواهید گرفت
در دوره Data Platform Engineering، مفاهیم و ابزارهای موردنیاز برای کار با پلتفرمهای داده روی Kubernetes معرفی میشوند؛ از Linux ،Docker و Containerization تا معماری و منابع Kubernetes و شیوه مدیریت سرویسهای داده در این محیط. در ادامه، مفاهیمی مانند StatefulSet ،Storage Persistence ،High Availability ،Replication ،Backup و Recovery مورد بررسی قرار گرفته و نحوه استقرار و مدیریت سرویسهای PostgreSQL MongoDB ،Kafka ،Spark و ClickHouse تشریح میشود. همچنین مباحثی مانند CRD ،Operator و Helm در کنار CI/CD ،GitOps، مدیریت Schema و Database Migration پوشش داده شده و در بخش پایانی، مفاهیم مرتبط با Monitoring ،Metrics ،Logs ،Traces ،Health Check و Alerting بررسی میشوند.
سطح دوره:
مقدماتی تا متوسط
پیش نیازهای دوره:
گذراندن دوره Data Lakehouse مقدماتی
حداقل ۳ سال سابقه کار در مهندسی داده یا DevOps
آشنایی اولیه با معماری و عملکرد پلتفرمهای پردازش و ذخیرهسازی توزیعشده
چالش ورودی دوره:
ندارد
مدرس دوره
- معمار راهکارهای کلان داده و پلتفرم در شرکت ساعی (بیگ دیتای ایرانسل و رایتل) از 1400 تاکنون.
- مشاور مهندسی داده و دیتا پلتفرم در تکنولایف از 1403.
- مهندسی داده در الوپیک (زپ اکپرس سابق) از 1402.
- مدرس کلان داده و NoSQLها از سال ۱۳۹۷ تاکنون.
- معمار کلان داده در داتین از ۱۳۹۹ تا ۱۴۰۰.
- مهندس ارشد داده و Oracle DBA در شرکت پژواک از ۱۳۹۴ تا ۱۳۹۸.
- مشاور اوراکل در بیمه ایران از ۱۳۹۵ تا ۱۳۹۶.
- برنامه نویس جاوا و مهندس داده در ایزایران از 1393 تا 1394.
- برنامه نویس جاوا در شرکت پژواک از 1389 تا 1393.
سرفصلهای دوره
1. آشنایی با لینوکس، داکر و Containerization
در این بخش، زیرساخت اولیهٔ موردنیاز برای کار با محیطهای کانتینری آماده میشود و شرکتکنندگان با نصب و راهاندازی لینوکس و مفاهیم اصلی Docker آشنا میشوند. ساخت و مدیریت Container و Image، کار با Registry و Repository و همچنین آشنایی با Docker Swarm از دیگر مباحث این بخش است.
- نصب لینوکس و آمادهسازی محیط.
- معماری Docker و بررسی ویژگیهای Docker و کار با Containerها.
- معرفی و کار با Swarm و Registry.
- ساخت Image، استفاده از Imageهای آماده و کار با Repositoryهای عمومی.
2– مفاهیم پایه ای کوبرنتیز
این بخش به شناخت معماری Kubernetes و اجزای اصلی آن و نحوهٔ نصب و راهاندازی یک کلاستر اختصاص دارد. شرکتکنندگان با منابعی مانند Pod ،Namespace ،ReplicaSet ،Deployment ،Service ،ConfigMap و Secret آشنا میشوند و روشهای زمانبندی و توزیع Podها میان Nodeها را نیز یاد میگیرند.
- معماری و اجزای Kubernetes.
- نصب Kubernetes.
- ویژگیهای Kubernetes و معرفی منابع Kubernetes.
- معرفی و کار با Pod و Namespace.
- معرفی و کار با ReplicaSet.
- ارتباط با Pod از طریق Service و انواع Serviceها.
- معرفی Deployment و مزیتهای آن.
- معرفی و کار با ConfigMap و Secret.
- زمانبندی و توزیع Podها روی Nodeها: Taint ،Toleration ،Node Affinity و Pod Affinity.
3– کوبرنتیز برای دیتا
در این بخش، الزامات اجرای سرویسهای دادهای در Kubernetes و تفاوت سرویسهای Stateful و Stateless بررسی میشود. مباحثی مانند StatefulSet ،Headless Service ،Persistent Volume ،Persistent Volume Claim و Storage Class آموزش داده میشوند تا بستر مناسب برای استقرار پایدار سرویسهای داده فراهم شود.
- تفاوت سرویس های Stateless و Stateful.
- ویژگی های کوبرنتیز برای پلتفرم های داده ای.
- معرفی و کار با StatefulSet.
- مدیریت StatefulSet ها.
- سرویس Headless.
- معرفی و کار با Persistence Volume و Persistence Volume Claim.
- معرفی و کار با Storage Class و Provisioner.
- کاربرد Local Disk و No Provisioner در کوبرنتیز.
4-مباحث پیشرفته در کوبرنتیز
این بخش به قابلیتهای توسعهپذیری Kubernetes و ابزارهایی اختصاص دارد که امکان مدیریت سرویسها و معماریهای پیچیدهتر را فراهم میکنند. شرکتکنندگان با CRD ،Custom Resource ،Operator ،Controller و Reconciliation Loop آشنا میشوند و نحوه استفاده از Helm برای بستهبندی و مدیریت استقرارها را فرا میگیرند.
- معرفی مباحث پیشرفته و معماری Extensibility در Kubernetes.
- معرفی و کار با Custom Resource (CR) و Custom Resource Definition (CRD).
- بررسی ساختار، ایجاد و مدیریت CRDها.
- معرفی و کار با Operatorها
- آشنایی با مفهوم Controller و Reconciliation Loop
- بررسی ارتباط Operator، CRD و Controller
- معرفی Helm و مفهوم Package Management در Kubernetes
- ساختار Helm Chart و اجزای آن
- کار با Values، Templates و Release ها
- مروری بر Best Practices و سناریوهای عملی استفاده از CRD، Operator و Helm
.
5- استقرار پلتفرم دیتا در کوبرنتیز
در این بخش، نحوهٔ طراحی و استقرار سرویسهای اصلی یک Data Platform بر بستر Kubernetes بهصورت عملی بررسی میشود. شرکتکنندگان با معماری، Persistence، High Availability، Replication، Backup، Recovery و مدیریت منابع در PostgreSQL، MongoDB، Kafka، Spark و ClickHouse آشنا میشوند و استفاده از Operatorهای مرتبط با هر سرویس را تجربه میکنند.
- آشنایی با معماری و الزامات Data Platform روی Kubernetes
- استقرار PostgreSQL در Kubernetes و بهترین شیوههای آن
- مرور معماری PostgreSQL و ساختار Instance
- معماری PostgreSQL در Kubernetes، Persistence و High Availability
- معرفی و کار با CloudNativePG
- Backup، Recovery و مدیریت منابع
- استقرار MongoDB در Kubernetes و بهترین شیوههای آن
- مرور معماری MongoDB و ساختار Instance
- معماری Replica Set و Persistence
- معرفی و کار با MongoDB K8s Operator
- Backup، Recovery و مدیریت منابع
- استقرار Kafka در Kubernetes و بهترین شیوههای آن
- مرور معماری Kafka، ساختار Instance و اجزای کلاستر
- معماری Brokerها و Storage
- مدیریت Replication و Persistence
- کار با Kafka Operator
- استقرار Spark در Kubernetes و بهترین شیوههای آن
- مرور معماری و ماهیت Spark
- معماری Spark روی Kubernetes
- اجرای Jobها و مدیریت منابع و پارامترها
- تخصیص منابع
- معرفی Apache YuniKorn و کاربردهای آن
- استقرار ClickHouse در Kubernetes و بهترین شیوههای آن
- مرور معماری ClickHouse، ساختار Instance و اجزای کلاستر ClickHouse
- Replication و Scaling
- مدیریت منابع و Persistence
- کار با ClickHouse Operator
6-CICD در پایپلاین داده
این بخش به خودکارسازی فرآیند توسعه و استقرار سرویسها و اجزای پایپلاین داده اختصاص دارد و مفاهیم CI/CD و GitOps را در محیط Kubernetes بررسی میکند. مدیریت Version Control ،Configuration، تغییرات Schema و Database Migration و همچنین فرآیندهای Rollback و Promotion میان محیطهای Dev، Staging و Production از محورهای اصلی این بخش است.
- CI/CD و نیازمندیهای آن در پایپلاین داده.
- معرفی GitOps و اصول آن.
- معرفی ابزارهای رایج GitOps و CI/CD در محیط Kubernetes.
- بررسی نقش Version Control و مدیریت Configuration در پایپلاین داده.
- مدیریت Data Schema، Database Migration و Versioning در فرآیند CI/CD.
- بررسی محدودیتها و چالشهای برخی ابزارهای Data Platform در پیادهسازی CI/CD.
- آشنایی با Rollback، Promotion و محیطهای Dev / Staging / Production.
7-مانیتورینگ پلتفرم داده
در این بخش، اصول پایش و ارزیابی سلامت سرویسهای یک پلتفرم داده بررسی میشود و شرکتکنندگان با Metrics، Logs، Traces، Health Check و Alerting آشنا میشوند. نحوهٔ Monitoring سرویسهایی مانند PostgreSQL ،MongoDB ،Kafka ،Spark و ClickHouse نیز با تمرکز بر تشخیص سریع خطاها و مشکلات عملیاتی مرور خواهد شد.
- آشنایی با روشها و نیازمندیهای Monitoring در پلتفرم داده.
- بررسی شاخصهای کلیدی Metrics ،Logs و Traces.
- بررسی Health Check ،Alerting و Incident Detection.
- بررسی Monitoring سرویسهای PostgreSQL ،MongoDB ،Kafka ،Spark و ClickHouse.
چارچوب برگزاری دوره
فرایند برگزاری و زمانبندی
۱۴ آذر ۱۴۰۵
شنبه ها ساعت ۱۷:۰۰ تا ۲۰:۰۰
تمام جلسات ضبط میشوند و همیشه برای مرور در اختیار شما خواهند بود.
جلسه اول را به صورت رایگان ثبتنام کنید.
نوع ارائه و هزینه دوره آنلاین
ظرفیت باقیمانده: ۳۰ نفر
پلتفرم برگزاری: اسکایروم
امکان معرفی برترینها به بازار کار
مشاهده دوره و پرسش و پاسخ آنلاین در بستر اسکایروم
دسترسی آفلاین به ویدیوها در اسپاتپلیر
دانلود PDF پاورپوینت جلسات
دارای گروه پرسش و پاسخ تلگرامی
امکان پرداخت 4 قسطه با
ظرفیت باقیمانده: 4 نفر
پلتفرم برگزاری:اسکایروم
امکان معرفی برترینها به بازار کار
مشاهده دوره و پرسش و پاسخ آنلاین در بستر اسکایروم
دسترسی آفلاین به ویدیوها در اسپاتپلیر
امکان پرداخت 4 قسطه با
ثبت نام دوره آنلاین Data Lakehouse مقدماتی
اگر هنوز برای ثبتنام قطعی تصمیم نگرفتهاید اما میخواهید ظرفیت خود را حفظ کنید، فرم زیر را تکمیل کنید. با توجه به محدودیت ظرفیت، اولویت با افرادی است که زودتر رزرو خود را انجام دهند.
"*" فیلدهای الزامی را نشان می دهد
از تجربه تا نتیجه!
شرکتکنندگان این دوره از دانشجویان کلاسهای استاد ارومند هستند و نظرات واقعیشان را درباره سبک تدریس و کلاسها میگویند. تجربههایشان را بشنوید و با اطمینان تصمیم بگیرید!
نمونه مدرک نیک آموز
مدرک نیک آموز نشاندهنده تخصص و مهارتی است که شما را برای موفقیت در آزمونهای استخدامی و پروژههای حرفهای آماده میکند. همچنین، شما میتوانید پس از دریافت مدرک، آن را مستقیماً به بخش Education پروفایل لینکدین خود اضافه کرده و رزومه خود را معتبرتر کنید
نمونه آموزشها
ویدیوهای زیر، نمونههایی از سبک تدریس و کلاسهای استاد ارومند هستند. با مشاهده آنها میتوانید با نحوه آموزش ایشان آشنا شوید و با اطمینان بیشتری برای شرکت در دوره تصمیم بگیرید.
شرکت در جلسه اول آنلاین این دوره رایگان میباشد، جهت ثبتنام کلیک کنید.
سوالات تخصصی دوره Data Platform Engineering
DataOps دقیقاً چیست و چه تفاوتی با DevOps دارد؟
DevOps بیشتر بر چرخه توسعه، استقرار و بهرهبرداری نرمافزار تمرکز دارد؛ اما در DataOps علاوه بر سرویس نرمافزاری، با داده، زیرساخت ذخیرهسازی، موتورهای پردازش، پایپلاینها و سرویسهای دارای وضعیت (Stateful) نیز سروکار داریم. در یک پلتفرم داده (Data Platform)، فقط در دسترس بودن برنامه کاربردی کافی نیست؛ داده باید پایدار بماند، پردازشها قابلیت بازیابی داشته باشند و تغییرات زیرساخت نیز بهصورت کنترلشده انجام شوند.
۲. چرا برای راهاندازی یک Data Platform، آشنایی با Docker کافی نیست و به Kubernetes هم نیاز داریم؟
Docker امکان ساخت و اجرای سرویسها در قالب Container را فراهم میکند، اما با افزایش تعداد سرویسها، مدیریت استقرار، دسترسی، توزیع بار و اجرای Containerها پیچیدهتر میشود.
Kubernetes این لایه مدیریتی را فراهم میکند و با استفاده از منابعی مانند Pod، Deployment، ReplicaSet و Service، امکان مدیریت ساختیافتهتر سرویسهای یک پلتفرم داده را در اختیار تیم قرار میدهد.
3. Registry و Repository چه نقشی در استقرار سرویسهای داده دارند؟
برای اجرای سرویسها در محیطهای کانتینری، Imageها باید بهشکل قابل مدیریت ذخیره شوند و در اختیار محیطهای مختلف قرار گیرند.
Registry و Repository این امکان را فراهم میکنند که Imageهای موردنیاز نگهداری و مدیریت شوند و در زمان استقرار در اختیار سرویسها قرار گیرند. این موضوع زمانی اهمیت بیشتری پیدا میکند که چندین سرویس و چند محیط اجرایی مختلف وجود داشته باشد.
4. تفاوت Node Affinity و Pod Affinity چیست؟
Node Affinity برای تعریف قواعد مربوط به ارتباط یک Pod با Nodeهای Cluster استفاده میشود. در مقابل، Pod Affinity به محل قرارگیری Podها نسبت به یکدیگر مربوط است. این تفاوت در طراحی نحوه توزیع Workloadهای یک Data Platform اهمیت زیادی دارد.
5. StatefulSet چه مسئلهای را در سرویسهای داده حل میکند؟
StatefulSet برای مدیریت Workloadهایی طراحی شده است که نیازمند State، هویت پایدار و Storage پایدار هستند. استفاده و مدیریت StatefulSet یکی از اجزای مهم استقرار سرویسهای داده روی Kubernetes است و در کنار Storage پایدار، بستر مناسبتری برای اجرای این نوع سرویسها فراهم میکند.
6. StorageClass و Provisioner چرا در معماری Storage اهمیت دارند؟
StorageClass امکان تعریف نحوه ارائه Storage به Workloadها را فراهم میکند و Provisioner در فرآیند تأمین این Storage نقش دارد. در برخی معماریها نیز استفاده از Local Disk و حالت No Provisioner مطرح میشود. انتخاب مدل مناسب Storage یکی از تصمیمهای مهم هنگام طراحی یک Data Platform روی Kubernetes است.
7. CRD چگونه Kubernetes را برای نیازهای تخصصیتر قابل توسعه میکند؟
Custom Resource Definition یا CRD امکان تعریف Resourceهای جدید را در Kubernetes فراهم میکند. به کمک CRD میتوان Kubernetes را فراتر از Resourceهای استاندارد آن توسعه داد و Resourceهایی متناسب با نیاز یک سرویس یا پلتفرم خاص تعریف و مدیریت کرد.
8. چرا معماری Replica Set در اجرای MongoDB روی Kubernetes اهمیت دارد؟
در استقرار MongoDB، معماری Replica Set و Persistence از موضوعات اصلی هستند. علاوه بر شناخت ساختار Instanceهای MongoDB، مدیریت Backup، Recovery و منابع نیز اهمیت دارد.
MongoDB Kubernetes Operator نیز میتواند برای مدیریت این سرویس در محیط Kubernetes مورد استفاده قرار گیرد.
9. اجرای Spark روی Kubernetes چه تفاوتی با استقرار یک Database دارد؟
Spark ماهیت پردازشی دارد و در Kubernetes موضوعاتی مانند اجرای Jobها، مدیریت منابع، پارامترهای اجرایی و تخصیص منابع اهمیت ویژهای پیدا میکنند. ابزارهایی مانند Apache YuniKorn نیز در حوزه مدیریت و تخصیص منابع برای Workloadها کاربرد دارند.
10. CI/CD در Data Platform چه تفاوتی با استقرار معمول نرمافزار دارد؟
در Data Platform علاوه بر کد و Configuration، موضوعاتی مانند Database Migration، تغییر Data Schema، Versioning و انتقال تغییرات میان محیطهای Development، Staging و Production نیز مطرح هستند. به همین دلیل مفاهیمی مانند Rollback، Promotion و GitOps در طراحی فرآیند CI/CD اهمیت بیشتری پیدا میکنند.
11. از کجا بفهمیم یک Data Platform واقعاً سالم است؟
سلامت پلتفرم فقط با مشاهده وضعیت اجرای سرویسها مشخص نمیشود. برای ارزیابی وضعیت باید Metrics، Logs و Traces بررسی شوند و از Health Check، Alerting و Incident Detection نیز کمک گرفته شود. این نوع پایش برای سرویسهایی مانند PostgreSQL، MongoDB، Kafka، Spark و ClickHouse اهمیت دارد و امکان تشخیص سریعتر مشکلات عملیاتی را فراهم میکند.
سوالات متداول دوره
1. پخش لایو (زنده) دوره به چه صورت است؟
ما با استفاده پلتفرم اسکایروم پخش زنده را خواهیم داشت. شما در این پلتفرم محیط کلاس، صدا و دسکتاپ مدرس را بصورت زنده تماشا خواهید کرد.
2. پلتفرم «اسکایروم» چیست؟
اسکایروم یک پلتفرم پخش وبینار و کلاس های آنلاین است؛ اسکایروم ابزاری جامع برای مدیریت و اجرای رویدادهای آنلاین با تمرکز بر سرعت و کیفیت بالا است. تمرکز اصلیاش ثبت رویدادها، تحلیلها یا روایتها به شکل زنده یا مرحلهبهمرحله است.
3. افرادی که بصورت لایو کلاس را مشاهده میکنند، آیا امکان پرسش و پاسخ دارند؟
شما بصورت چت آنلاین می توانید سوالات خود را بپرسید و مدرس هم سوالات شما را پاسخ خواهد داد. البته توجه داشته باشید که این پروسه پاسخگویی هر ۴۰ دقیقه یکبار خواهد بود تا مدرس رشته کلام از دستش خارج نشود. البته که گروه تلگرامی دوره در اختیار شما است و می توانید سوالات خود را آنجا هم مطرح کنید.
۴. آیا خرید اقساطی امکانپذیر است؟
بله، امکان خرید اقساطی با اسنپ پی فراهم شده است. برای اطلاعات بیشتر میتوانید با مشاورین مجموعه در تماس باشید یا راهنمای خرید اقساطی دوره آموزشی با اسنپ پی را مطالعه بفرمایید.
5. آیا فیلم دوره رکورد می گردد؟
بله، دسکتاپ و صدای مدرس رکورد خواهد شد و در پلیر اختصاصی اسپات پلیر به همراه کلید لایسنس ارائه خواهد شد. شما در سیستم عاملهای ویندوز، اندروید، آیفون (سیب، اناردون)، مک بوک میتوانید فیلم را مشاهده کنید.
6. آیا پس از پایان دوره مدرک معتبری ارائه میشود؟
بله، پس از اتمام دوره و گذراندن آزمون پایانی، گواهی معتبری به شما ارائه میشود که میتوانید آن را در رزومه خود ثبت کنید.