Milvus چیست؟ انقلاب جدید در دنیای پایگاه داده برداری

دیتابیس وکتور نوعی پایگاه داده است که جست‌وجوهای مبتنی بر محتوا را در مجموعه وسیعی از داده‌های بدون ساختار ممکن می‌کند و با نام Vector Embeddings هم شناخته می‌شود. وکتور دیتابیس فراتر از محدودیت‌های انسانی حرکت می‌کند و می‌تواند باعث تحول صنایعی شود که از آن استفاده می‌کنند.

در این مقاله قصد داریم، با وکتور دیتابیس Milvus و کاربردهای آن آشنا شویم و مزایا و ویژگی‌های آن را بررسی کنیم. همچنین طرز کار آن را توضیح می‌دهیم. پیش از شروع این مقاله پیشنهاد می‌کنیم برای آشنایی بیشتر با وکتور دیتابیس، مقاله پایگاه داده برداری چیست؟ بررسی کاربردها، نحوه کار و آینده Vector Database را مطالعه کنید.

Vector Embeddings چیست؟

Vector Embeddings به نمایش‌های عددی مشتق‌شده از مدل‌های یادگیری ماشین گفته می‌شود که مدیریت داده‌های بدون ساختار را دربرمی‌گیرد. این دیتابیس‌ها از طریق تجزیه و تحلیل هم‌بستگی‌های پیچیده درون داده‌ها توسط شبکه‌های عصبی یا مدل‌های ترنسفورمر ایجاد می‌شوند و یک فضای وکتور متراکم را ایجاد می‌کنند که در آن، هر نقطه با «معنای» داده تطابق دارد؛ مثل کلمات در یک فایل.

در این فرایند، متن یا سایر داده‌های بدون ساختار به وکتورهایی تبدیل می‌شوند که شباهت‌های معنایی را منعکس می‌کنند. کلمات با معانی مرتبط در این فضای چندبعدی، نزدیک‌تر به هم قرار می‌گیرند و نوعی جست‌وجو را تسهیل می‌کنند که به عنوان «Dense Vector Search» شناخته می‌شود. این در تضاد با روش‌های سنتی است که بر مطابقت دقیق متکی است و از وکتورهای پراکنده استفاده می‌کند.

توسعه وکتور دیتابیس‌ها امکان جست‌وجوهای دقیق‌تری را فراهم می‌کند که اصل داده‌ها را به تصویر می‌کشد و فراتر از محدودیت‌های روش‌های جست‌وجوی واژگانی یا پراکنده وکتور است. این توسعه اغلب از مدل‌های پایه‌ای سرچشمه می‌گیرد که به طور گسترده توسط شرکت‌های فناوری بزرگ آموزش داده شده‌اند.

Vector Embedding چه کاربردهایی دارد؟

دیتابیس وکتورها را می‌توان در برنامه‌های مختلف استفاده کرد و کارایی و دقت را از راه‌های مختلفی افزایش داد. در ادامه، تعدادی از رایج‌ترین کاربردهای Vector Embeddings را شرح می‌دهیم.

یافتن تصاویر، فیلم‌ها یا فایل‌های صوتی مشابه

دیتابیس‌های وکتور امکان جست‌وجوی محتوای چندرسانه‌ای را براساس محتوا ممکن کرده‌اند و به جای کلمات کلیدی، از شبکه‌های عصبی کانولوشن (CNN) برای تجزیه و تحلیل تصاویر، فریم‌های ویدیویی یا صوتی استفاده می‌کنند. این مزیت امکان جست‌وجوهای پیشرفته را فراهم می‌کند؛ مثل پیدا کردن تصاویر براساس نشانه‌های صوتی یا فیلم‌ها از طریق تصویر.

مفید در صنایع دارویی

در صنعت داروسازی، دیتابیس وکتورها می‌توانند ساختارهای شیمیایی ترکیبات را رمزگذاری کنند و با اندازه‌گیری شباهت آن‌ها به ساختار هدف، شناسایی ترکیب‌های دارویی امیدوارکننده را آسان‌تر کنند. این امر روند کشف دارو را تسریع می‌کند و با تمرکز بر درست‌ترین سرنخ‌ها، در زمان و منابع سازمان صرفه‌جویی می‌کند.

استفاده از جست‌ و جوی معنایی

با قرار دادن اسناد و مدارک در دیتابیس وکتور، سازمان‌ها می‌توانند از جست‌وجوی معنایی یا Semantic Search برای بهبود نتایج جست‌وجو استفاده کنند. این روش از مفهوم Retrieval Augmented Generation یا RAG برای درک هدف کوئری‌ها استفاده می‌کند و با دریافت پاسخ از طریق مدل‌های هوش مصنوعی مثل Chat GPT، احتمال خطا در نتایج یا عملکرد هوش مصنوعی را کاهش می‌دهد.

سیستم توصیه‌گر

وکتور دیتابیس‌ها توانسته‌اند انقلابی در حوزه سیستم‌های توصیه‌گر ایجاد کنند و این کار را با اندازه‌گیری شباهت کاربران و آیتم‌ها انجام می‌دهند. این رویکرد توصیه‌های شخصی‌سازی‌شده را براساس اولویت‌های فردی امکان‌پذیر می‌کند و رضایت کاربر و میزان تعامل او را با پلتفرم‌های آنلاین افزایش می‌دهد.

تشخیص ناهنجاری‌ ها

در زمینه‌هایی مثل نظارت، تشخیص خطا و امنیت شبکه می‌توانید روی کمک دیتابیس وکتورها و قابلیت آن‌ها برای تشخیص الگوهای غیرمعمول حساب کنید. زمانی که شما نقاط داده‌ای را به عنوان وکتور مشخص می‌کنید، امکان تشخیص ناهنجاری‌ها و شناسایی اولیه مشکلات تسهیل می‌شود و انجام اقدامات پیشگیرانه در برابر مسائل احتمالی راحت‌تر است.

مزایای استفاده از دیتابیس وکتور

دیتابیس‌های وکتور برای مدیریت و بازیابی داده‌های بدون ساختار طراحی شده‌اند و نوعی نمایش عددی هستند که انواع داده‌های تصویری، صوتی، متنی و فیلم‌ها را به تصویر می‌کشند. برخلاف دیتابیس‌های سنتی که داده‌های ساختاریافته را با عملیات جست‌وجوی دقیق مدیریت می‌کنند، وکتور دیتابیس از تکنیک‌هایی مثل الگوریتم Approximate Nearest Neighbor استفاده می‌کند.

این نوع دیتابیس برای توسعه برنامه‌های کاربردی در حوزه‌های مختلف به کار می‌رود، از جمله:

• سیستم‌های توصیه‌گر
• ربات‌های گفت‌وگو
• ابزارهای جست‌وجوی چندرسانه‌ای
• رسیدگی به چالش‌های ناشی از هوش مصنوعی و مدل‌های زبانی مثل ChatGPT

ظهور وکتور دیتابیس‌ها جست‌وجوی مبتنی بر محتوا را در مجموعه وسیعی از داده‌های بدون ساختار فعال می‌کند که فراتر از محدودیت‌های انسانی است و می‌تواند صنایع را متحول کند. ویژگی‌هایی که وکتور دیتابیس را از سایر پایگاه‌های داده متمایز می‌کند، عبارتند از:

• مقیاس‌پذیری و تنظیم‌پذیری برای مدیریت حجم داده‌های در حال رشد
• جداسازی داده‌ها برای استفاده کارآمد از منابع و حفظ حریم خصوصی
• مجموعه جامعی از APIها برای زبان‌های برنامه‌نویسی متنوع
• رابطه‌های کاربرپسند که تعامل با داده‌های پیچیده را ساده می‌کند

این ویژگی‌ها تضمین می‌کنند که وکتور دیتابیس‌ها می‌توانند نیازهای برنامه‌های کاربردی مدرن را برآورده کنند. همچنین ابزارهای قدرتمندی را برای کاوش و استفاده از داده‌های بدون ساختار ارائه می‌دهند که دیتابیس‌های سنتی نمی‌توانند از پس آن‌ها برآیند.

وکتور دیتابیس در برابر کتابخانه جست و جوی وکتور

کتابخانه‌های جست‌وجوی وکتور مثل FAISS و ScaNN یا HNSW ابزارهای اساسی برای ساختن سیستم‌های نمونه اولیه هستند که قابلیت انجام جست‌وجوهای شباهت کارآمد و خوشه‌بندی متراکم وکتور را هم دارند. این کتابخانه‌ها قدرتمند و متن‌باز هستند و عمدتاً برای بازیابی وکتور طراحی شده‌اند.

همچنین راه‌اندازی سریع را با قابلیت‌هایی مثل مدیریت مجموعه‌های وکتور بزرگ و ارائه رابط‌هایی برای ارزیابی و تنظیم پارامتر ارائه می‌دهند. با این حال، کتابخانه‌های جست‌وجوی وکتور از نظر مقیاس‌پذیری و اصلاح دینامیک داده‌ها چندان مناسب نیستند و به کار داده‌های بزرگ‌تر و پیچیده‌تر و دیتابیس‌های رو به رشد نمی‌آیند.

در مقابل، وکتور دیتابیس به عنوان راه‌حل بهتری شناخته می‌شود که برای ذخیره‌سازی و بازیابی بی‌درنگ میلیون‌ها تا میلیاردها وکتور طراحی شده است. این دیتابیس‌ها سطح بالاتری از انتزاع، مقیاس‌پذیری، ویژگی‌های ابری و کاربرپسندی را ارائه می‌دهند که از عملکردهای کتابخانه جست‌وجوی وکتور پیشی می‌گیرد.

در حالی که کتابخانه‌هایی مثل FAISS اجزای جدایی‌ناپذیری هستند که دیتابیس وکتور ممکن است براساس آن‌ها ساخته شود، وکتور دیتابیس سرویس کاملی است که عملیات‌هایی مثل درج و مدیریت داده‌ها را ساده می‌کند. همچنین در مقیاس بزرگ و پویا با پردازش داده‌های بدون ساختار هماهنگ‌تر است.

وکتور دیتابیس در برابر افزونه های وکتور سرچ در دیتابیس های قدیمی

وکتور دیتابیس و افزونه‌های آن نقش‌های متفاوتی در مدیریت جست‌وجوهای مبتنی بر وکتور دارند. مثلاً افزونه‌هایی که در Elasticsearch 8.0 وجود دارد، قابلیت‌های جست‌وجوی وکتور را در معماری دیتابیس موجود ارائه می‌دهند و راه‌حل جامعی ندارند. این افزونه‌ها فاقد یک رویکرد Full-Stack برای مدیریت و جست‌وجوی وکتور هستند که منجر به محدودیت‌ها و عملکرد غیربهینه برای داده‌های بدون ساختار می‌شود.

ویژگی‌های کلیدی مثل تنظیم‌پذیری و API/SDK‌های کاربرپسند که برای عملکرد مؤثر وکتور دیتابیس ضروری هستند، در افزونه‌های جست‌وجوی وکتور وجود ندارند. مثلاً موتور ANN Elasticsearch که از ذخیره‌سازی وکتور اولیه و پرس‌وجو پشتیبانی می‌کند، با الگوریتم نمایه‌سازی و گزینه‌های متریک فاصله محدود شده است و انعطاف‌پذیری کمتری را در مقایسه با وکتور دیتابیس اختصاصی ارائه می‌دهد.

وکتور دیتابیس اختصاصی از یک API شهودی‌تر برخوردار است، پشتیبانی گسترده‌تری از روش‌های نمایه‌سازی و معیارهای فاصله دارد و از پتانسیل پرس‌وجو مثل SQL برخوردار است که برتری آن را در مدیریت و جست‌وجوی داده‌های بدون ساختار برجسته می‌کند.

این تفاوت اساسی نشان می‌دهد که وکتور دیتابیس با مجموعه ویژگی‌های جامع و معماری متناسب با داده‌های بدون ساختار، بر افزونه‌های وکتور سرچ ترجیح داده می‌شود تا به جست‌وجوی بهینه و مدیریت بهتر پایگاه داده دست یابد.

Milvus چطور کار می کند؟

Milvus حول یک معماری چندلایه طراحی شده است که می‌تواند به طور کارآمدی، داده‌های وکتور را پردازش کند و مقیاس‌پذیری، تنظیم‌پذیری و جداسازی داده‌ها را تضمین کند. در ادامه، یک نمای کلی و ساده را از معماری دیتابیس وکتور توضیح می‌دهیم.

1. لایه دسترسی: این لایه به عنوان نقطه تماس اولیه برای درخواست‌های خارجی عمل می‌کند و از پراکسی‌های بدون حالت برای مدیریت اتصال مشتری، تأیید استاتیک و بررسی‌های پویا استفاده می‌کند. هنگامی که یک سرویس پایین‌دست یک درخواست را پردازش می‌کند، لایه دسترسی پاسخ را به کاربر هدایت می‌کند.
2. خدمات Coordinator: این سرویس که به عنوان فرمان مرکزی عمل می‌کند، توازن بار و مدیریت داده‌ها را از طریق چهار Coordinator هماهنگ می‌کند و در نتیجه مدیریت کارآمد داده، پرس‌وجو و فهرست تضمین می‌شود:

• The Root Coordinator: مدیریت وظایف مربوط به داده و مهر زمانی جهانی.
• The Query Coordinator: نظارت بر گره‌های پرسش‌وجو برای عملیات جست‌وجو.
• The Data Coordinator: برای مدیریت گره‌های داده و ابرداده‌ها.
• The Index Coordinator: حفظ گره‌های شاخص و ابرداده‌ها.

3. گره‌های کارگر: این گره‌ها مسئول اجرای واقعی وظایف هستند و دستورات هماهنگ‌کننده‌ها را انجام می‌دهند. آن‌ها کاری انجام می‌دهند که Milvus به صورت پویا با تغییر داده‌ها، پرس‌وجو و تقاضاهای فهرست‌سازی تنظیم شود و از مقیاس‌پذیری و تنظیم‌پذیری سیستم پشتیبانی می‌کند.
4. لایه ذخیره‌سازی اشیا: این لایه که برای ماندگاری داده‌ها ضروری است، از موارد زیر تشکیل می‌شود:

• Meta store: از etcd برای اسنپ‌شات‌های فراداده و بررسی سلامت سیستم استفاده می‌کند
• Log broker: برای استمرار و بازیابی داده‌ها به کار می‌رود و از Pulsar یا RocksDB استفاده می‌کند
• Object storage: اسنپ‌شات‌های گزارش، فایل‌های فهرست و نتایج جست‌وجو را با پشتیبانی از سرویس‌هایی مثل AWS S3 و Azure Blob Storage و MinIO ذخیره می‌کند

سخن پایانی

در این مقاله با دیتابیس وکتور و کاربردهای آن آشنا شدیم. این نسل از پایگاه‌های داده می‌توانند می‌توانند تجزیه و تجزیه داده‌های پیچیده را آسان‌تر و سریع‌تر کنند، احتمال وقوع خطا را کاهش دهند و جلوی وقوع مشکلات احتمالی را بگیرند. از صنایع دارویی تا امکان جست‌وجوی انواع محتوا، وکتور دیتابیس می‌تواند در سازمان‌های بزرگ استفاده شود و صنایع را متحول کند.