کاربرد داکر برای مهندسین داده و تحول شگفت‌انگیز آن

کاربرد داکر برای مهندسین داده، مثل یک جعبه ابزار سوئیسی است که هر زمان و برای هراقدامی به‌کار می‌آید. در دنیای سنتی، راه‌اندازی و مدیریت خطوط پردازش داده کاری پیچیده و زمان‌بر بود. وابستگی‌های متعدد نرم‌افزاری، ناسازگاری‌های محیطی و مشکلات مربوط به پیکربندی، چالش‌های متعددی را برای مهندسان داده به وجود می‌آورد. داکر با ارائه‌ کانتینرها، این چالش‌ها را تا حد زیادی برطرف کرده است. در این مقاله، به بررسی کاربردهای داکر در مهندسی داده و مزایای بی‌نظیر آن برای ساده‌سازی، تسریع و ارتقای فرآیندهای پردازش داده می‌پردازیم. با ما همراه باشید تا دریابید چگونه داکر به شما در انجام وظایف خود به عنوان یک مهندس داده، به شکلی کارآمدتر و موثرتر کمک می‌کند.

داکر چیست و چگونه کار می‌کند؟

دنیای نرم‌افزار را تصور کنید که در آن راه‌اندازی و اجرای برنامه‌ها به‌سادگی حمل یک چمدان باشد. داکر (Docker) ابزاری قدرتمند برای مجازی‌سازی است که این رویا را به واقعیت تبدیل می‌کند. با داکر، شما می‌توانید یک برنامه را به‌همراه تمامی وابستگی‌ها، کتابخانه‌ها و تنظیماتش، در یک بسته‌ واحد به نام کانتینر (Container) قرار دهید. کانتینر قابل حمل بوده و می‌توان آن را در محیط‌های مختلف اجرا کرد. فرقی نمی‌کند روی رایانه‌ شخصی‌تان، سرورهای ابری پرقدرت، یا حتی رایانه‌های قدیمی‌تر کار کنید، برنامه‌ شما همواره به شکل یکسان و روان اجرا خواهد شد. داکر ابزاری ارزشمند برای توسعه‌دهندگان و مدیران سیستم است که فرآیند توسعه، استقرار و اجرای نرم‌افزار را ساده و یکپارچه می‌کند.

مزایای استفاده از داکر برای مهندسین داده

فناوری شگفت‌انگیز داکر همراه با کانتینرها مجموعه‌ای از مزایا را به‌همراه دارد که به شما کمک می‌کند تا خطوط پردازش داده را به شکلی بهتر، سریع‌تر و کارآمدتر راه‌اندازی و مدیریت کنید. در ادامه به برخی از مهم‌ترین این مزایا اشاره می‌کنیم:

• قابل حمل در هرجا: فرقی نمی‌کند روی سیستم شخصی خود کار کنید یا یک سرور ابری قدرتمند در اختیار داشته باشید، کانتینرها تضمین می‌کنند که نرم‌افزار شما بدون هیچ مشکلی اجرا شود. دیگر نگران سازگاری با محیط‌های مختلف نباشید.
• مقیاس‌پذیری آسان: حجم داده‌های شما در حال افزایش است؟ به‌سادگی می‌توانید تعداد کانتینرهای در حال اجرا را کم یا زیاد کنید تا متناسب با نیازهای پردازشی خود، بهترین عملکرد را داشته باشید.
• تکرارپذیری بی‌نظیر: با داکر، می‌توانید مطمئن باشید که خط پردازش داده‌ شما در هر مرحله‌، از توسعه تا تولید، به شکل یکسان عمل می‌کند. این موضوع، عیب‌یابی و رفع مشکلات را به مراتب ساده‌تر می‌کند.
• محیطی ایزوله برای هر ابزار: دیگر نگران تداخل ابزارهای مختلف با یکدیگر نباشید. داکر برای هر ابزار، یک محیط ایزوله اختصاصی ایجاد می‌کند و خیال شما را از بابت بروز خطاهای ناشی از وابستگی‌ها راحت می‌کند.
• مصرف بهینه‌ منابع: کانتینرها برخلاف ماشین‌های مجازی حجیم، بسیار سبک‌وزن هستند. این امر باعث می‌شود تا از منابع سخت‌افزاری سیستم خود به شکلی بهینه استفاده کنید.

داکر در فرآیندهای CI/CD برای پروژه‌ های داده‌ محور

یکپارچه‌سازی مستمر (CI) و تحویل مستمر (CD) فرآیندهایی هستند که به اتوماتیک‌سازی تست و استقرار نرم‌افزار می‌پردازند. داکر در این میان نقش مهمی ایفا کرده و به حفظ یکنواختی محیط‌ها در مراحل توسعه، تست و تولید کمک می‌کند. فرض کنید قصد دارید تست‌های خودکار واحد را روی اپلیکیشن خود انجام دهید. برای این کار می‌توانید از یک فایل docker-compose.test.yml ویژه برای تست استفاده کنید:

# docker-compose.test.yml
version: "3.8"
services:
  app:
    build:
      context: .
    environment:
      - APP_ENV=test
    command: ["pytest", "--disable-warnings"]

همانطور که می‌بینید، در بخش command دستور اجرای تست (مثلا pytest) به همراه گزینه‌های آن تعریف شده است. همچنین، از طریق متغیر محیطی APP_ENV، می‌توانید به کانتینر اطلاع دهید که در حال اجرای تست است. بدین ترتیب، پیکربندی خاصی برای تست در نظر گرفته می‌گیرید. شما می‌توانید فایل docker-compose.test.yml را در خطوط CI/CD خود ادغام کنید و مراحل ساخت و تست را به‌صورت خودکار انجام دهید.

راه‌اندازی محیط توسعه داده‌ ها با داکر

فرض کنید به نسخه‌ خاصی از پایتون، Spark و کانکتورهای پایگاه داده برای انجام یک تحلیل داده نیاز دارید. با داکر، به‌سادگی می‌توانید یک کانتینر حاوی تمام این ملزومات را ایجاد کنید و با اطمینان از اینکه در هر محیطی، نتیجه‌ یکسانی خواهید گرفت، به کار خود ادامه دهید.

داکر با معرفی کانتینرها، محیطی سبک و یکپارچه را ارائه می‌دهند که فرآیند ساخت، تست و استقرار نرم‌افزار را برای توسعه‌دهندگان به شکل قابل توجهی ساده و روان می‌کند. به‌عبارتی، داکر کل خط پردازش داده شما، شامل کد، ابزار، کتابخانه‌ها و پیکربندی‌های دقیق را در قالب کانتینرهای قابل حمل، بسته‌بندی می‌کند. خبر خوب این است که داکر روی سیستم‌عامل‌های رایج مانند لینوکس، ویندوز و مک قابل نصب است. در ادامه، مراحل نصب بر روی لینوکس را بررسی می‌کنیم.

مرحله ۱: نصب داکر روی لینوکس (برای اوبونتو و دیگر توزیع‌ های مبتنی بر دبیان)

شما می‌توانید داکر را از طریق ترمینال نصب کنید. با اجرای دستورات زیر، مخزن داکر به سیستم شما اضافه می‌شود، لیست بسته‌ها به‌روزرسانی شده و نسخه‌ (Docker Community Edition) نصب خواهد شد:

sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
sudo apt-get update
sudo apt-get install -y docker-ce

مرحله ۲: ایجاد یک داکرفایل برای پروژه‌ های داده

داکرفایل، کلید ساخت محیطی سفارشی برای پروژه‌ داده‌ شماست. این فایل متنی، دستورالعمل‌های لازم برای برپایی این محیط در خود جای داده است. طراحی بهینه‌ داکرفایل، نقش مهمی در ایجاد یک تصویر نهایی کوچک و کارآمد ایفا می‌کند.

مثالی از داکرفایل برای پروژه داده با پایتون

# Base image with Python
FROM python:3.9
# Set the working directory
WORKDIR /app
# Copy project requirements and install dependencies
COPY requirements.txt requirements.txt
RUN pip install -r requirements.txt
# Copy the source code into the working directory
COPY . .
# Command to run the application
CMD ["python", "main.py"]

در این مثال، داکرفایل با انتخاب یک تصویر پایه‌ پایتون (با دستور FROM) کار خود را آغاز می‌کند. این تصویر، بستر لازم برای اجرای کدهای پایتون را فراهم می‌کند. سپس، دستور WORKDIR مسیر کاری را درون کانتینر مشخص می‌کند. دستورات COPY، فایل‌های مورد نیاز را به این مسیر کپی می‌کنند. در نهایت، دستور CMD فرمان اجرایی شدن برنامه را در زمان راه‌اندازی کانتینر تعریف می‌کند.

مرحله ۳: ساخت و اجرای تصویر داکر

ایجاد یک تصویر داکر، درست شبیه‌ پختن یک غذای خوشمزه است. شما با استفاده از دستورالعمل‌های موجود در Dockerfile مواد اولیه (ابزارها و کتابخانه‌ها) را با هم ترکیب می‌کنید و در نهایت، یک بسته‌ نرم‌افزاری مستقل به نام تصویر داکر را به دست می‌آورید. برای ساخت تصویر داکر، کافی‌است از دستور زیر در ترمینال خود استفاده کنید:

 docker build -t my-python-data-project .

در این دستور:

• -t گزینه‌ای برای تعیین نام و تگ (برچسب) برای تصویر شماست. (به جای نام-پروژه-شما نام دلخواه خود را وارد کنید).
• . نشان‌دهنده‌ پوشه‌ فعلی شماست که Dockerfile در آن قرار دارد.

با اجرای این دستور، داکر شروع به ساخت تصویر شما براساس دستورالعمل‌های Dockerfile می‌کند. وقتی تصویر شما ساخته شد، زمان راه‌اندازی آن فرا می‌رسد. برای اجرای تصویر داکر از دستور زیر استفاده کنید:

docker run -d -p 8080:8080 my-python-data-project

در این دستور:

• -d گزینه‌ای برای اجرای تصویر در حالت پس‌زمینه است. با این کار، کانتینر راه‌اندازی می‌شود و به کار خود ادامه می‌دهد، بدون اینکه ترمینال شما اشغال شود.
• -p گزینه‌ای برای برقراری ارتباط بین پورت‌های کانتینر و سیستم میزبان است. در اینجا، پورت ۸۰۸۰ داخل کانتینر به پورت ۸۰۸۰ روی سیستم شما متصل می‌شود. (این کار در صورتی نیاز است که برنامه‌ شما با درگاهی خاص کار می‌کند).
• my-python-data-project همان نامی است که هنگام ساخت تصویر برای آن انتخاب کرده‌اید.

با اجرای این دستور، داکر یک کانتینر بر اساس تصویر ساخته‌شده راه‌اندازی می‌کند. این کانتینر، محیطی ایزوله و مستقل را در اختیار برنامه‌ی شما قرار می‌دهد تا به بهترین شکل کار خود را انجام دهد. به همین سادگی، پروژه‌ خود را با داکر اجرا کردید!

مرحله ۴: مدیریت تصاویر و کانتینرها در داکر

داکر دستوراتی را برای مدیریت تصاویر و کانتینرها ارائه می‌دهد. بخشی از آن را در ادامه باهم بررسی می‌کنیم: 

• لیست‌ تصاویر

فرض کنید می‌خواهید بررسی کنید چه تصاویری روی سیستم‌تان وجود دارد. برای این کار، می‌توانید از دستور زیر استفاده کنید:

docker images

این دستور، فهرستی از تمام تصاویر موجود روی سیستم شما را نمایش می‌دهد.

• لیست‌ کانتینرها

گاهی اوقات، نیاز دارید تا لیستی از تمامی کانتینرها، حتی کانتینرهای متوقف‌شده را مشاهده کنید. برای این منظور، از دستور زیر استفاده می‌شود:

 docker ps -a

با اجرای این دستور، فهرستی از تمام کانتینرهای در حال اجرا و یا متوقف‌شده بر روی سیستم‌تان نمایش داده خواهد شد.

• حذف تصاویر:

تصویری را ساختید که دیگر به آن نیاز ندارید؟ برای حذف یک تصویر با نام یا شناسه‌ خاص، می‌توانید از دستور زیر استفاده کنید:

docker rmi my-python-data-project

به جای my-python-data-project، نام یا شناسه‌ تصویر مورد نظر خود را وارد کنید.

• حذف کانتینرها:

فرض کنید کانتینری را راه‌اندازی کردید اما دیگر به آن نیاز ندارید. برای حذف این کانتینر، از دستور زیر استفاده کنید:

docker rm <container_id>

به جای <container_id>‏، شناسه‌ی کانتینر موردنظر خود را وارد کنید.

نکات و بهترین روش‌ ها در استفاده از داکر برای مهندسین داده

در ادامه مقاله کاربرد داکر برای مهندسین داده، به بررسی مهم‌ترین نکات و روش‌ها برای استفاده بهینه داکر می‌پردازیم.

امنیت در دنیای کانتینرها: محافظت از خط مقدم داده‌های شما

در دنیای کانتینرها، جایی که چندین کانتینر از یک هسته‌ مشترک (kernel) سیستم‌عامل میزبان استفاده می‌کنند، امنیت حرف اول را می‌زند. برای به حداقل رساندن ریسک‌های امنیتی، لازم است اقداماتی نظیر کاهش سطح دسترسی (privileges) و به‌روزرسانی منظم تصاویر کانتینری انجام دهیم.

یکی از بهترین راهکارهای امنیتی، اجرای کانتینرها با کاربری به غیر از root است. به‌صورت پیش‌فرض، کانتینرها با سطح دسترسی root اجرا می‌شوند که این امر، آن‌ها را در برابر حملات آسیب‌پذیرتر می‌کند. اما چگونه می‌توان در یک Dockerfile، کاربری به غیر از root را تعریف کرد؟

تعریف کاربر غیر-root و تنظیم مجوزها:

# Create a non-root user and set permissions
FROM python:3.9
RUN useradd -ms /bin/bash datauser
USER datauser
# Now all commands run as this non-root user
WORKDIR /home/datauser/app
COPY . .
CMD ["python", "main.py"]

مصرف بهینه منابع با داکر: کلید عملکرد بهتر و هزینه کمتر

در دنیای فناوری، مصرف بهینه منابع، به معنای کارایی بهتر و در نتیجه، کاهش هزینه‌های زیرساخت است. داکر با ارائه‌ ابزارهایی برای بهینه‌سازی مصرف منابع به شما کمک می‌کند تا ضمن دستیابی به عملکرد خارق‌العاده، هزینه‌ها را نیز کنترل کنید.

یکی از این ابزارها، ساخت چند مرحله‌ای (Multi-stage Builds) است. این روش، محیط ساخت را از محیط اجرایی برنامه جدا می‌کند و در نتیجه، اندازه‌ی تصویر نهایی را به شدت کاهش می‌دهد.

به مثال زیر توجه کنید:

فرض کنید می‌خواهیم یک اپلیکیشن Go را با استفاده از ساخت چند مرحله‌ای بهینه‌سازی کنیم:

# First stage: Build
FROM golang:1.18 AS builder
WORKDIR /app
COPY . .
RUN go build -o myapp
# Second stage: Runtime
FROM debian:bullseye-slim
WORKDIR /root/
COPY --from=builder /app/myapp .
CMD ["./myapp"]

همانطور که می‌بینید، در این مثال، وابستگی‌های مرحله‌ ساخت (مانند کامپایلر Go) در تصویر نهایی قرار نمی‌گیرند. این کار باعث می‌شود تا اندازه‌ تصویر به‌شدت کاهش پیدا کند؛ در نتیجه، صرفه‌جویی قابل توجهی در منابع صورت گیرد.

روش دیگری برای بهینه‌سازی منابع، مدیریت کارآمد لایه‌ها (Layers) در تصویر داکر است. لایه‌ها، واحدهای سازنده‌ یک تصویر هستند. با مرتب کردن این لایه‌ها به نحوی که دستورات پرتکرار در انتهای Dockerfile قرار بگیرند، می‌توان از قابلیت کش (Caching) داکر به بهترین شکل بهره برد و از بازسازی‌های غیرضروری لایه‌ها جلوگیری کرد.

شبکه‌ سازی در داکر: برقراری ارتباط امن بین سرویس‌ ها

تا اینجا در مورد راه‌اندازی ایزوله و کارآمد محیط توسعه داده‌ها با داکر صحبت کردیم. اما چگونه می‌توان ارتباط امن و کنترل‌شده‌ای بین سرویس‌های مختلف برقرار کرد؟ اینجاست که شبکه‌های داکر به کمک ما می‌آیند. شبکه‌های داکر، زیرساختی برای برقراری ارتباط بین کانتینرها فراهم می‌کنند. با استفاده از شبکه‌های مجزا، می‌توانیم از دسترسی غیرمجاز به سرویس‌های حساس جلوگیری کنیم.

ایجاد شبکه‌های مجزا با داکر کامپوز:

برای ایجاد شبکه‌های مجزا و کنترل ارتباط بین سرویس‌ها، می‌توانیم از داکر کامپوز استفاده کنیم. در مثال زیر، نحوه‌ انجام این کار را مشاهده می‌کنید:

# docker-compose.yml
version: "3.8"
services:
  web:
    image: nginx
    networks:
      - frontend
  api:
    image: my-api
    networks:
      - backend
networks:
  frontend:
    driver: bridge
  backend:
    driver: bridge

همانطور که می‌بینید، در این پیکربندی، وب‌سرویس فقط می‌تواند با سرویس‌هایی که در شبکه‌ frontend قرار دارند ارتباط برقرار کند. از طرفی، سرویس API در شبکه‌ی backend ایزوله شده و ارتباط مستقیمی با وب‌سرویس ندارد.

کلام پایانی؛ داکر، یار همیشگی مهندسان داده

کاربرد داکر برای مهندسین داده را در این مقاله بررسی کردیم. داکر به مهندسین داده قدرت می‌دهد تا بر دنیای داده‌ها حکمرانی کنند. این تکنولوژی با ارائه‌ کانتینرها، تحولی شگرف در این حوزه ایجاد کرده و به ابزاری ضروری برای مهندسان داده تبدیل شده است.

مزایای بی‌نظیر داکر برای مهندسی داده:

• مصرف بهینه منابع: استفاده کارآمد از سخت‌افزار
• قابل حمل: اجرای نرم‌افزار در هر محیطی بدون مشکل
• ایزوله: محیطی مجزا برای هر ابزار جهت جلوگیری از تداخل
• قابل تکرار: عملکرد یکسان خط پردازش داده در تمام مراحل
• مقیاس‌پذیر: افزایش یا کاهش آسان تعداد کانتینرها متناسب با نیاز

به‌عنوان کلام پایانی جا دارد بگوییم داکر، ابزاری ارزشمند در جعبه ابزار هر مهندس داده است. با یادگیری و استفاده از این فناوری، می‌توانید به سطح جدیدی از کارایی و انعطاف‌پذیری در پروژه‌های خود دست پیدا کنید.