۷ نیاز مهندسی داده برای شرکت‌های داده‌محور برای رشد!

مهندسی داده برای شرکت‌های داده‌محور در دل اکوسیستم پردازش داده شکل گرفته و امروزه یکی از رو‌به‌رشدترین حوزه‌های دانش و مهندسی در جهان معاصر به شمار می‌رود. ظهور نیازمندی‌های جدید در حوزه جمع‌آوری، ذخیره، تحلیل، پردازش و تصویرسازی داده، در سالیان اخیر باعث به‌وجود آمدن مشاغل جدیدی در این اکوسیستم شده است. دانشمند داده و تحلیلگر داده که در ادامه به آن‌ها خواهیم پرداخت، از جمله این مشاغل نوظهور هستند که از سطح یک کالای لوکس و دور از دسترس، به جایگاه شغلی تثبیت‌شده‌ای در خارج و داخل کشور تبدیل شده‌اند.

در یکسال گذشته اگر مشاغل مرتبط با داده را در سایت‌های معتبر داخلی مانند جابینجا ‌رصد کرده باشید، متوجه شده‌اید که اخیراً جایگاه شغلی مهندس داده یا Data Engineer به یک نیاز روز شرکت‌های بزرگ ایرانی تبدیل شده است و ممکن است برایتان سوال پیش آمده باشد که مهندسی داده برای شرکت‌های داده‌محور چیست؟ سوالی که با بررسی نیازمندی‌های مورد نیاز برای این جایگاه شغلی در سایت‌های ایرانی، پاسخ خود را نه تنها پیدا نخواهید کرد بلکه ممکن است حتی سردرگم هم بشوید.
در این مقاله به بررسی جنبه‌های مختلف این نوپای نوظهور در حوزه پردازش داده خواهیم پرداخت. با ما همراه باشید.

مهندسی داده برای شرکت‌های داده‌محور در دنیای فناوری اطلاعات

به رغم نوپا بودن ، این شغل توانسته است در سه سال پیاپی، یعنی از سال ۲۰۱۸ تا ۲۰۲۰، عنوان رو به رشدترین مهارت کاری را در تحلیل‌های بازار سایت Dice از آن خود کرده است. (۲۰۱۹، ۲۰۱۸ و ۲۰۲۰) عنوان مقاله مرتبط با این موضوع در سایت Dice خود گویای ماجراست: «سال ۲۰۲۰، سال شهروندی مهندسی داده». در گزارش سالیانه لینکدین از مشاغل رو به رشد دنیا (نسخه ۲۰۲۰)، مهندسی داده برای شرکت‌های داده‌محور رتبه هشتم در بین ۱۵ جایگاه شغلی محبوب را از آن خود کرده است. در این رتبه‌بندی، متخصص هوش مصنوعی رتبه اول و دانشمند داده، رتبه سوم را به خود اختصاص داده است.
سایت کاریابی indeed که مرجعی بین المللی در این حوزه است، اخیراً بهترین مشاغل ۲۰۲۰ دنیا را در گزارشی منتشر کرده است که رتبه‌بندی مشاغل آن‌ از مواردی مانند میزان پرداختی،‌ پتانسیل پیشرفت و مورد تقاضا بودن بهره برده است. در این گزارش، هر چند رتبه ۱۲ام به مهندسی داده برای شرکت‌های داده‌محور رسیده است اما از لحاظ رشد تقاضا در بازه زمانی ۲۰۱۶ تا ۲۰۱۹، رتبه سوم را دارد.

تصمیم‌گیری بهتر در پروژه‌های داده‌محور با اولویت‌بندی MoSCoW

در مسیر پیاده‌سازی معماری‌های داده‌محور و توسعه زیرساخت‌های مهندسی داده، اولویت‌بندی نیازها و امکانات نقش مهمی ایفا می‌کند. در این ویدیو با روش MoSCoW آشنا می‌شوید؛ روشی که می‌تواند به مدیران پروژه و تیم‌های فنی کمک کند تا تصمیم‌های شفاف‌تری در اجرای پروژه‌های داده‌ای بگیرند.

بررسی یک سناریوی مهندسی داده برای شرکت‌های داده‌محور واقعی

قبل از تعریف و بررسی مسئولیت‌های یک مهندس داده، بهتر است با این جایگاه شغلی از طریق یک مثال ملموس و واقعی، آشنا شویم. فرض کنید به عنوان مدیر بخش بازاریابی و فروش یک فروشگاه آنلاین بزرگ، نیاز به تحلیل رفتار کاربر و پیشنهاد هوشمند محصولات به او در راستای افزایش فروش دارید. جلسه‌ای با تیم فنی و تیم مدیریت داده خود برای این منظور تشکیل می‌دهید و از آنها می‌خواهید هر چه سریعتر، مکانیزمی برای تحلیل رفتار کاربر و پیشنهاد محصولات به او، ایجاد کنند.
در این جلسه، با نگاه به آینده و فراهم کردن بستر پردازش مناسب، تصمیم بر این گرفته می‌شود که هر کلیک کاربر، به عنوان یک رخداد تلقی شده و توسط تیم فرانت‌اند از طریق فراخوانی یک API به بخش پردازشی ارسال شود. سپس با ایجاد یک خط پردازش داده، بتوان انواع فرآیندهای مورد نیاز تیم‌های مختلف بازاریابی و تحلیل را مدیریت کرده، داده‌های مورد نیاز آنها را تولید کرد.

با فشردن دکمه افزودن به سبد خرید، رخداد «افزودن محصول به سبد خرید» و با حذف یک کالا از سبد، رخداد «حذف محصول از سبد» ایجاد شود. به همین منوال، هر کلیک کاربر یک رخداد به سامانه پردازشی ما ارسال خواهد کرد. با این رهیافت، می‌توان به ازای هر رخداد و بسته به نیاز واحدهای مختلف شرکت، یک جریان کاری ایجاد کرد. مثلاً در انتهای هر ماه، محصولاتی را که کاربر از سبد خود حذف کرده یا به سبد خود اضافه کرده اما آن‌ها را نهایی نکرده است، با تخفیفی وسوسه انگیز برای کاربر ارسال کرد.

«نهایی کردن سفارش» هم رخدادی است که باید ذخیره شود حتی اگر نهایی کردن سفارش به خرید نهایی و پرداخت پول منجر نشود چون با نهایی کردن سفارش، (رخداد کلیک کاربر بر روی دکمه نهایی کردن سفارش) دو حالت پیش خواهد آمد: اگر خرید انجام شود، می‌توان محصولات جانبی موردنیاز را به کاربر در انتهای ماه از طریق ایمیل یا پیامک با تخفیف مناسب اطلاع داد و اگر نهایی کردن سفارش به پرداخت پول ختم نشده باشد، می‌توان رتبه اعتباری فرد را بررسی کرده، در صورت تایید، خرید اقساطی یا اعتباری به کاربر اطلاع داده شود.
از طرفی، هر رخداد، یک داده مهم برای بخش تحلیل و آنالیز شرکت است و باید در دیتابیس‌های تحلیلی و یا انباره‌های داده، ذخیره شود. این کار می‌تواند در انتهای روز یا به ازای هر رخداد، انجام شود.

مهندسی داده برای شرکت‌های داده‌محور در عمل؛ از استخراج داده تا ارسال پیشنهاد تخفیف به مشتریان

سناریوی زیر را که برای ارسال ایمیل تخفیف سفارشی به مشتریان در انتهای هر ماه باید انجام شود را در نظر بگیرید: محصولات حذف شده یا محصولات نهایی نشده به ازای کاربران مختلف از دیتابیس اصلی استخراج شده (فرآیند استخراج یا Extract)، به کمک مدل‌های ایجاد شده توسط دانشمندان داده شرکت، محصولات به دست آمده پالایش و میزان تخفیف، مشخص شده و به کاربر اطلاع داده شود. (فرآیند تغییر شکل یا Transform) در انتهای کار هم اطلاعات ایجاد شده، مانند پیشنهاد ارسال شده به کاربر، وارد دیتابیس‌های تحلیلی و انباره‌های داده شرکت شود (فرآیند بارگذاری یا Load) تا تحلیلگران داده هم بتوانند تحلیل‌های بعدی را روی آنها انجام دهند.
ارسال ایمیل محصولات تخفیف دار به مشتریانی که آن‌ها را از سبد خرید خود حذف یا نهایی نکرده‌اند، یکی از ده‌ها جریان‌کاری (Workflow) است که روزانه، ماهیانه و یا به ازای هر رخداد باید انجام شود. طراحی، نظارت و مدیریت این فرآیند پردازش داده، بر عهده مهندسین داده شرکت است. اینکه از چه فناوری‌ای استفاده شود، چه صف توزیع شده‌ای به کار رود، چگونه اطلاعات اولیه از دیتابیس رابطه‌ای به کمک SQL‌ استخراج شود، افزایش کاربران و افزایش رخدادها و جریان کارها باعث رخداد خطا یا کندی در سیستم نشود و در یک کلام، همه چیز به خوبی و نظارت شده پیش برود و چیزی از قلم نیفتد، همه و همه بر عهده مهندس داده است. وظیفه‌ای که در عمل، بسیار سنگین و طاقت فرساست.
با این توصیف، مهندس داده، مهندسان آچار به دست شرکت در حوزه داده خواهند بود که تضمین می‌کنند خوراک داده مورد نیاز بخش‌های مختلف شرکت همواره و با کیفیت لازم برقرار باشد.

مهندسی داده چیست؟

موسسه استاندارد آمریکا در نسخه سوم استاندارد بیگ‌دیتا که در اکتبر ۲۰۱۹ منتشر شده است، مهندس کلان‌داده را این گونه تعریف می‌کند:

Big Data engineering is the discipline for engineering scalable systems for data-intensive processing
مهندسی (کلان) داده، رشته ایست با محوریت مهندسی سامانه‌های مقیاس‌پذیر پردازش داده.

این تعریف کلی است اما جامعیت لازم را برای شناخت مهندسی داده دارد. ماکسیم بیچمین در مقاله‌‌ تحسین شده خود در سال ۲۰۱۷ با عنوان ظهور مهندسی داده، این رشته جدید را تلفیقی از مهندسی نرم‌افزار، هوش تجاری و انبارش داده می‌داند که فرآیندهای مهندسی نرم‌افزار (طراحی، تولید، پایش و توسعه نرم افزار) در آن کاملا مشهود است و در کنار اینها، پردازش توزیع شده، پردازش جریان‌های داده و در یک کلام، کار با کلان‌داده را هم شامل می‌شود.

تعبیر بیچمین از مهندسی داده برای شرکت‌های داده‌محور به عنوان فرزند نوپای حوزه پردازش داده که در کنار برادر بزرگتر خود یعنی علم داده، راه رفتن آغاز کرد و به تدریج هویتی مستقل برای خود دست و پا کرده، سری در سرها درآورد، به نظرم بسیار گویا و آگاهی بخش است.
جیمز فوربوش در مقاله‌ای منتشر شده در انتشارات معروف اُریلی، به تاریخ جولای ۲۰۱۸، مهندس داده را فردی می‌داند که مسئولیت اصلی او ساخت و نگهداشت خطوط پردازش داده و تضمین کیفیت داده است.

هرم مهندسی داده برای شرکت‌های داده‌محور اشاره می‌کند که طراحی، ساخت و نگهداشت خطوط پردازش داده، نیازمند ترکیب حدود ۱۰ تا ۳۰ کتابخانه و چارچوب پردازشی است. این موضوع خود نشانگر نیاز به تسلط فنی یک مهندس داده به اکوسیستم پردازش داده و به‌خصوص کلان‌داده است.
در هرم نیازمندی‌های علم داده که توسط مونیکا روگاتی پیشنهاد شده است، می‌توان مهندسی داده را شامل سطح دوم و بخشی از سطح یک و سه این هرم در نظر گرفت:

مهندس داده/تحلیلگر داده/دانشمند داده

قبل از بررسی مهارت‌های مورد نیاز یک مهندس داده، باید به صورت مختصر راجع به دو جایگاه شغلی مشابه و همراه با مهندسی داده یعنی دانشمند داده و تحلیلگر داده توضیح دهیم و ارتباطات این سه حرفه به نسبت جدید را بیان کنیم.
تحلیلگر داده که قدمتی به درازای خود مفهوم داده در ادبیات معاصر فناوری اطلاعات دارد، به بررسی داده‌های موجود، استخراج ویژگی‌های جدید و تصویر سازی مناسب از آنها می‌پردازد. کاری که معمولاً در بخش هوش تجاری یک سازمان انجام می‌شود. (جنبه تجاری و کاربردی داده)
دانشمند داده که قدمتی حدودا ده ساله دارد، به ساخت مدل‌های پیش‌بینی کننده و واکاوی علمی داده‌ها برای کشف روابط پنهان بین داده‌ها می‌پردازد که با جنبه علمی و تحقیقاتی داده‌ها سروکار دارد.
مهندس داده، با طراحی زیرساخت‌ها و معماری پردازش داده و تضمین اجرای بدون عیب و نقص خطوط پردازش داده در سازمان سروکار دارد. (جنبه مهندسی و زیرساختی داده)

مهارت‌های مورد نیاز یک مهندس داده

برای طراحی، پیاده سازی، پایش و توسعه بسترپردازش داده، یک مهندس داده باید با موارد زیر آشنا باشد:

• لینوکس و دستورات کاربردی و اصلی آن به‌خصوص نوشتن اسکریپت‌های bash
• آشنایی با یک زبان برنامه‌نویسی مناسب برای پردازش داده مانند پایتون و اسکالا
• آشنایی با SQL و نوشتن کوئری‌های پیچیده.
• آشنایی کلی با طراحی و پیاده سازی سیستم های توزیع شده
• آشنایی با ابزارهای دریافت و توزیع داده مانند کافکا، چارچوب‌های پردازش داده مانند هدوپ و اسپارک، مکانیزم‌‌های ذخیره‌سازی داده مانند HDFS و Parquet
• آشنایی با مفاهیم انباره‌های داده، دیتابیس‌های تحلیلی نوین (دیتابیس‌های ستونی) و توانایی کار با آنها
• آشنایی با پایگاه های داده‌ای رابطه ای و NoSQL و نحوه مدلسازی داده‌ها در هر پارادایم.

تحلیل مهارت‌های موردنیاز مهندسان داده بر اساس داده‌های بازار کار جهانی

البته منظور از آشنایی، حدی از دانش است که بتوان به کمک آن، طراحی درست را انجام داد و از نقاط ضعف و قوت هر فناوری به خوبی آگاه بود. آقای جف هِیل، در مقاله‌ای تحلیلی با عنوان «پرتقاضاترین مهارتهای یک مهندس داده» بررسی داده‌های مشاغل سایت‌های کاریابی معروف SimplyHired, Indeed, and Monster، نمودار زیر را برای مهارت‌های موردنیازی که شرکت‌های مختلف برای جذب یک مهندس داده، اعلام کرده بودند، به دست آورده است: همان‌طور که انتظار می رفت، رتبه‌های اول تا سوم به SQL، زبان پایتون و چارچوب پردازشی اسپارک رسیده است که این سه مهارت، جزء ملزومات اصلی این رشته محسوب می‌شود.
در نمودار فوق، رتبه چهارم به AWS‌ (ابر پردازشی آمازون)، رسیده است و پنجمین رتبه به جاوا. با توجه به این‌که اکثر پروژه‌های متن‌باز حوزه کلان‌داده با جاوا نوشته شده است، این رتبه، دور از انتظار به نظر نمی‌رسد هر چند، تسلط به یک زبان برنامه‌نویسی مانند پایتون، برای یک مهندس داده، کافی خواهد بود.

بعد از هدوپ، به هایو می‌رسیم که انباره داده پیش‌فرض و رایج در اکوسیستم هدوپ (چارچوب پردازشی کلاسیک کلان‌داده) است. اسکالا، یکی از زبان‌های برنامه‌نویسی منشعب از جاواست که به طور خاص برای کار با اسپارک استفاده می‌شود. کافکا هم صف توزیع شده محبوب این روزهاست که نقش اصلی در طراحی سامانه‌های پردازشی کلان‌داده و ایجاد خطوط پردازش داده، ایفا می‌کند.
در انتهای طیف هم NoSQL را داریم که نسبت به SQL، تقاضای بسیار کمتری را به خود اختصاص داده است اما با این وجود، جز ده مهارت بالای مورد نیاز یک مهندس داده است. لیست بقیه مهارت‌های موردنیاز مانند SQL Server ،HBase، آژور، لینوکس و R را می‌توانید با مراجعه به مقاله فوق مشاهده نمایید.

نمودار جالب دیگری که آقای هِیل رسم کرده است، تفاوت‌های مشاهده شده در بین مهارت‌های مورد نیاز دانشمند داده و مهندس داده است. این نمودار که در زیر آن‌را مشاهده می‌کنید، حاصل تفریق تعداد تقاضاهای مهارت‌های مهندس داده و دانشمند داده است، به خوبی گویای تفاوت‌های این رسته شغلی هم هست. مثلا مهارت کار با اسپارک، در جایگاه‌ شغلی مهندس داده، بیشتر از بیست درصد با همین مهارت در جایگاه شغلی دانشمند داده، اختلاف دارد.از جمله مواردی که در نمودارهای فوق مشاهده نمی‌شود اما در حوزه مهندسی داده برای شرکت‌های داده‌محور، چه در شرکت‌های داخلی و چه در مقالات تکنیکال خارجی، به کرات دیده می‌شود، مهارت کار با یک چارچوب مدیریت جریان‌کار مانند Apache Airflow است که در مقاله‌ای جداگانه به آن خواهیم پرداخت.

سخن پایانی مهندسی داده برای شرکت‌های داده‌محور

دنیای امروز بیش از هر زمان دیگری به داده وابسته شده است. سازمان‌هایی که بتوانند داده‌های خود را به‌درستی جمع‌آوری، پردازش و تحلیل کنند، تصمیم‌های دقیق‌تر می‌گیرند، مشتریان خود را بهتر می‌شناسند و سریع‌تر از رقبا رشد می‌کنند. در قلب این تحول، مهندسی داده برای شرکت‌های داده‌محور قرار دارد؛ تخصصی که زیرساخت لازم برای تبدیل داده‌های خام به بینش‌های ارزشمند را فراهم می‌کند.

همان‌طور که دیدیم، مهندس داده با طراحی و مدیریت خطوط پردازش داده، ساخت معماری‌های مقیاس‌پذیر و تضمین کیفیت داده‌ها، نقشی کلیدی در موفقیت پروژه‌های داده‌محور ایفا می‌کند. به همین دلیل است که امروزه بسیاری از شرکت‌های بزرگ دنیا و حتی سازمان‌های پیشرو در ایران، به دنبال جذب متخصصان این حوزه هستند.

سوالات متداول مهندسی داده برای شرکت‌های داده‌محور

۱. مهندسی داده چیست؟

مهندسی داده حوزه‌ای از فناوری اطلاعات است که به طراحی، پیاده‌سازی و مدیریت سامانه‌های مقیاس‌پذیر برای جمع‌آوری، ذخیره‌سازی و پردازش داده‌ها می‌پردازد. هدف آن فراهم کردن زیرساختی است که داده‌های خام را برای تحلیل و استفاده در بخش‌های مختلف سازمان آماده کند.

۲. چرا مهندسی داده برای شرکت‌های داده‌محور اهمیت دارد؟

شرکت‌های داده‌محور برای تصمیم‌گیری دقیق و تحلیل رفتار کاربران به داده‌های قابل اعتماد نیاز دارند. مهندسی داده زیرساختی ایجاد می‌کند که داده‌ها به‌صورت منظم جمع‌آوری، پردازش و در اختیار تیم‌های تحلیل و هوش تجاری قرار بگیرند.

۳. مهندس داده چه وظایفی در یک سازمان دارد؟

مهندس داده مسئول طراحی و مدیریت خطوط پردازش داده، انتقال و تبدیل داده‌ها، تضمین کیفیت داده و ایجاد زیرساخت‌هایی است که امکان تحلیل و استفاده از داده‌ها را برای سایر تیم‌ها فراهم می‌کند.

۴. مهندس داده چه تفاوتی با تحلیلگر داده و دانشمند داده دارد؟

تحلیلگر داده روی بررسی داده‌های موجود و استخراج گزارش‌ها و داشبوردها تمرکز دارد. دانشمند داده مدل‌های پیش‌بینی و تحلیل‌های پیشرفته ایجاد می‌کند. در مقابل، مهندس داده زیرساخت و خطوط پردازش داده را طراحی می‌کند تا داده‌ها به شکل مناسب در اختیار این دو نقش قرار بگیرد.

۵.  مهندسی داده برای شرکت‌های داده‌محور  در یک سناریوی واقعی چه کاربردی دارد؟

در یک فروشگاه آنلاین می‌توان رفتار کاربران مانند کلیک‌ها، افزودن محصولات به سبد خرید یا حذف آن‌ها را به‌صورت رخداد ثبت کرد. سپس با پردازش این داده‌ها، پیشنهادهای شخصی‌سازی‌شده یا تخفیف‌های هدفمند برای کاربران ایجاد می‌شود.

۶. یک مهندس داده باید چه مهارت‌هایی داشته باشد؟

تسلط به مفاهیمی مانند لینوکس، SQL، زبان‌های برنامه‌نویسی مانند پایتون، طراحی سیستم‌های توزیع‌شده و آشنایی با ابزارهای پردازش داده مانند اسپارک، کافکا و هدوپ از مهم‌ترین مهارت‌های مورد نیاز در این حوزه است.

۷. چرا تقاضا برای مهندسان داده در حال افزایش است؟

با افزایش حجم داده‌ها و رشد کسب‌وکارهای دیجیتال، سازمان‌ها به زیرساخت‌های قدرتمند برای مدیریت و پردازش داده نیاز دارند. همین موضوع باعث شده مهندسی داده به یکی از پرتقاضاترین مهارت‌های حوزه فناوری تبدیل شود.

برای آشنایی عمیق‌تر با دنیای داده، این مقالات را بخوانید:

• آشنایی با انواع کاربرد لینوکس برای مهندسی داده 

• ۱۰ مهارت پایه مهندسین داده

• چطور تسک‌های مهندسی داده خود را درک کنیم؟

• مسیر راه یادگیری مهندسی داده