۱۰ مهارت پایه مهندسین داده

۱۰ مهارت پایه مهندسین داده

مهندسان داده، رویاپردازان پیشرو هستند که الزامات کسب و کار را به الزامات فنی تبدیل می کنند و استانداردها و اصول داده را تعریف می کنند. و مفهوم سازی و طراحی چارچوب مدیریت داده های سازمانی برای سازمان را برعهده دارند. این چارچوب فرآیندهای مورد استفاده برای برنامه ریزی، انتخاب، فعال کردن، ایجاد، به دست آوردن، نگهداری، استفاده، بایگانی، بازیابی، کنترل و پاک کردن داده ها را توصیف می کند

مسئولیت های مهندس داده

مهندسی داده یک زمینه نسبتاً جدید است و به همین دلیل، تفاوت زیادی در مسئولیت های شغلی واقعی در شرکت های مختلف وجود دارد

• چارچوب معماری داده ها، استانداردها و اصول را تعریف میکنند، این اصول مانند: مدل سازی،امنیت، جمع آوری داده های مرجع مانند کدهای محصول و دسته بندی های مشتری، و هماهنگ سازی داده های اصلی مانند مشتریان، فروشندگان، مواد و کارمندان.
• مهندس داده یک الگویی را تعریف میکند تا دیگران بتوانند برای بهبود عملکرد سیستم از آن الگو استفاده کنند.
• جریان های داده را تحت کنترل خود دارد، یعنی کدام بخش از سازمان داده تولید می کند، کدام بخش برای عملکرد به داده نیاز دارد، جریان داده چگونه مدیریت می شود، و چگونه داده ها در انتقال پیدا میکند. ۴-استخراج: استخراج داده ها از هر تعداد منبع. منبع می تواند یک API خارجی، فضای ذخیره سازی ابری، پایگاه داده، فایل های ثابت و غیره باشد
• تبدیل: این مرحله شامل تبدیل داده ها است. برخی از تبدیلهای رایج عبارتند از: نقشه برداری، فیلتر کردن، غنی سازی، تغییر ساختار دادهها( مانند غیرعادی کردن داده ها )و تجمیع می باشد.

چگونه مهندس داده شویم؟

مهندس داده یک نقش در حال تکامل است و هیچ گواهینامه یا برنامه آموزشی در سطح صنعت برای مهندسان داده وجود ندارد. مهندسان داده معمولا در حین کار به عنوان مهندس داده و دانشمند داده کار را یاد میگیرند و به یک مهندس داده با سال ها تجربه در طراحی داده، مدیریت داده ها و کار انبارداری داده به پیشرفت می رسد.

در یک مهندس داده به دنبال چه چیزی باشیم

اکثر مهندسان داده دارای مدرک در فناوری اطلاعات، علوم کامپیوتر، مهندسی کامپیوتر یا رشته های مرتبط هستند.مهندسان داده خوب، درک کاملی از پایگاههای داده، برنامه ها و نرم افزارهایی که از پایگاه های داده استفاده میکنند، دارند. آنها مدل سازی داده ها، از جمله توسعه مفهوم و بهبود پایگاه داده را درک می کنند مهندسان داده این توانایی را دارند که:

• مدل های پردازش داده را طراحی کنند و مدل کسب و کار مورد نظر خود را پیاده سازی کنند
• با رسم نمودار موجودیت های داده های کلیدی و مهم را نشان میدهند
• مهندسان داده به مهارت در ریاضیات، علوم کامپیوتر، مهارت های مدیریت داده و توانایی تجزیه و تحلیل و ارائه اطلاعات آماری نیاز دارند.

۱۰ مهارت کلیدی که به شما کمک می کند مهندس داده شوید

• لینوکس: اکثر برنامه ها بر روی سیستم های لینوکس ساخته شده اند، بنابراین درک نحوه کار با آنها بسیار مهم است
• SQL: برای دسترسی به داده ها مهم است، چه برای تجزیه و تحلیل داده های در حال اجرا باشد و چه برای استفاده برای کارهای دیگر
• اسکریپت: دانش یک زبان برنامه نویسی مانند scripting bash یا python برای خودکار کردن چندین مرحله مورد نیاز برای پردازش داده ها بسیار مفید است
• ذخیره سازی داده های توزیع شده: آگاهی از نحوه عملکرد ذخیره داده های توزیع شده مانند HDFS یا AWS S3 ودانستن مفاهیمی مانند تکثیر داده ها، سریال سازی، ذخیره سازی داده های پارتیشن بندی شده و قطعه سازی فایل ها.
• پردازش داده های توزیع شده: دانش در مورد نحوه پردازش داده ها به صورت توزیع شده
• ساخت خطوط لوله داده: دانش نحوه اتصال سیستم های مختلف داده برای ایجاد خط لوله داده
• پایگاه داده: آگاهی از نحوه عملکرد پایگاه داده ها و زمان استفاده از آنها
• سیستم های نوبت دهی: آشنایی با سیستم های نوبت دهی و زمان و نحوه استفاده از آنها
• پردازش جریان: دانش پردازش جریان و نحوه استفاده از آنها
• زبان JVM: دانش یک زبان مبتنی بر JVM مانند جاوا یا اسکالا بسیار مفید خواهد بود، زیرا اکثر ابزارهای پردازش داده منبع باز با استفاده از زبان های JVM نوشته می شوند.

مهندسان و مدیریت داده ها

اغلب داده های شرکت درانبار داده قرار میگیرند. مسئولیت های یک مهندس داده در این زمینه عبارت است از:

• مدلسازی داده های انبار: داده ها را برای پرس‌وجوهای تحلیلی مدلسازی میکند، که معمولا عبارت اند از پرسوجوهای تجمعی در جداول بزرگ. مدلسازی در اینجا شامل اعمال پارتیشن های مناسب در جداول است
• عملکرد انبار: مطمئن شوید که درخواست ها سریع هستند و انبار می تواند در صورت نیاز سریعا داده هارا باهم مقایسه کند
• کیفیت داده: تضمین کیفیت داده در انبار داده

برنامه ریزی، اجرا و نظارت برخطوط لوله داده

مهندسان داده همچنین مسئول برنامه ریزی خطوط لوله ETL ،اطمینان از اجرا ونظارت بر آن ها را برعهده دارند.یکسری کارهای دیگر مانند

• برنامه ریزی خطوط لوله داده برای اجرا در یک برنامه زمانی خاص یا در پاسخ به برخی رویدادها
• اجرای خطوط لوله داده و اطمینان از اینکه آنها می توانند ، مجوزهای مناسب داشته باشند و غیره
• نظارت بر خطوط لوله داده برای خرابی ها، بن بست ها و وظایف طولانی مدت
• مدیریت ابرداده مانند زمان اجرا، زمان پایان به پایان، دلایل شکست و غیره … را هم برعهده دارند

ارائه داده به کاربران نهایی

هنگامی که داده ها را در انبار داده نگه داری میشود وقت آن است که آن را به کاربر نهایی ارائه دهید. کاربر نهایی می تواند تحلیلگران یک برنامه کاربردی، مشتریان خارجی و غیره باشد. بسته به کاربر نهایی ممکن است مجبور باشید داده های خود را تغییراتی دهید. استراتژی داده برای شرکت مهندسان داده درگیر ارائه استراتژی داده برای شرکت هستند. این کارشامل:

• تصمیم گیری در مورد اینکه چه داده هایی را جمع آوری کنید، چگونه آنها را جمع آوری کنید و به طور ایمن ذخیره کنید
• آموزش به کاربران نهایی در مورد نحوه استفاده موثر از داده ها
• تصمیم گیری در مورد اینکه چه داده هایی (در صورت وجود)با مشتریان خارجی به اشتراک گذاشته شود.

استقرار مدل ها برای تولید

دانشمندان و تحلیلگران داده مدل های پیچیده ای را توسعه می دهند که از نزدیک عملکرد یک فرآیند تجاری خاص را نشان میدهد. وقتی زمان استقرار این مدل ها فرا میرسد، مهندسان داده معمولا کسانی هستند که آنها را برای استفاده در یک محیط تولید بهینه میکنند

نتیجه گیری

امیدواریم این مقاله به شما درک خوبی از مسئولیت های مختلفی که ممکن است یک مهندس داده بر عهده بگیرد، به شما بدهد. تعداد مسئولیت هایی که ممکن است داشته باشید به شرکت، ساختار تیم و حجم کاری بستگی دارد. هدف اصلی تیم(های) مهندسی داده، امکان استفاده در سطح شرکت از داده ها برای تصمیم گیری است. معمولا هر چه شرکت بزرگتر باشد، مسئولیت های شما محدودتر و عمیق تر می شود. می توانید از این به عنوان یک لیست برای شناسایی حوزه های مورد علاقه خود استفاده کنید و مطمئن شوید که مسئولیت های شغلی شما با آنها مطابقت دارد

منبع

https://startdataengineering.com