ساخت چت بات فارسی کاملا آفلاین

در این فصل، مدل‌های زبان بزرگ (LLM)، معماری ترنسفورمر و مکانیزم Self-Attention معرفی می‌شوند. دانشجو مفاهیم پایه‌ای چون توکن‌ها، امبدینگ‌ها و تفاوت مدل‌های Autoregressive و Encoder-Decoder را می‌آموزد. تمرکز اصلی بر اصول کنترل خروجی با پارامترهای تولید متن (مانند Temperature) و تکنیک‌های پرامپت است.
• مفاهیم پایه LLM:
o مدل زبانی چیست و کاربردهای آن.
o توکن و توکنایزیشن، مفاهیم امبدینگ.
• معماری ترنسفورمر:
o مکانیزم Self-Attention و نقش آن در LLMها.
o ساختار Encoder و Decoder و تفاوت مدل‌های autoregressive و encoder-decoder.
• کنترل تولید متن:
o پارامترهای مهم: Temperature ,Top-k ,Top-p و تأثیر آن‌ها بر خروجی مدل.
• تکنیک‌های پرامپت:
 Zero-Shot ,Few-Shot و مثال‌های عملی

فصل پیش رو به شما کمک می‌کند تا مدل‌های LLM را به صورت محلی راه‌اندازی کنید. این شامل نصب Ollama، کار با دستورات خط فرمان و اجرای مدل‌های معروف است. محتوای این بخش تعامل با مدل‌ها از طریق کتابخانه پایتون Ollama و آشنایی با مفاهیم اولیه Prompt Engineering و Hugging Face Hub را پوشش می‌دهد.

• مقدمه و آماده‌سازی محیط:
  • معرفی و نصب Ollama برای اجرای مدل‌های محلی.
  • کار با دستورات خط فرمان Ollama (pull ,run ,serve ,list)
  • اجرای مدل‌های معروف (Llama 3 ,DeepSeek ,Gemma ,Qwen)
• تعامل با LLM:
  • استفاده از کتابخانه Ollama در پایتون.
  • مفاهیم اولیه Prompt Engineering و انواع پیام‌ها (System ,User ,Assistant).
  • آشنایی با Hugging Face Hub و استفاده از API‌های رایگان آن.

در این بخش، شما می‌آموزید که چطور یک رابط کاربری سریع و جذاب برای اپلیکیشن‌های هوش مصنوعی بسازید. آموزش مبانی Streamlit، پیاده‌سازی قابلیت حفظ تاریخچه مکالمات با Session State و یکپارچه‌سازی با مدل‌های Ollama از سرفصل‌های مهم هستند. تمرکز بر توسعه یک Chatbot ساده و شبیه‌سازی خروجی Streaming شبیه به ChatGPT است.

• مبانی Streamlit برای ساخت اپلیکیشن‌های هوش مصنوعی.
• ایجاد یک Chatbot ساده با قابلیت حفظ تاریخچه (Session State).
• یکپارچه‌سازی مدل‌های Ollama با رابط کاربری Streamlit.
• شبیه‌سازی رابط کاربری ChatGPT (Streaming Output).

محتوای این فصل بر فریم‌ورک LangChain و هسته آن یعنی LCEL متمرکز است تا زنجیره‌های پیچیده‌ای از اجزای LLM بسازید. سرفصل‌ها شامل مدیریت ورودی با Prompt Templates و ساختاردهی خروجی با Output Parsers (تبدیل به JSON/Pydantic) است. هدف نهایی، پیاده‌سازی جریان‌های کاری پیشرفته (مانند مسیریابی) و استفاده از Memory برای تاریخچه مکالمات است.

• مفاهیم پایه:
  • مفهوم LCEL  (LangChain Expression Language) و اهمیت آن.
  • ساخت اولین Chain با استفاده از Runnables.
• مدیریت ورودی و خروجی:
  • استفاده حرفه‌ای از Prompt Templates (مدیریت متغیرها)
  • کار با Output Parsers:
    • تبدیل خروجی به String.
    • تبدیل خروجی به JSON و ساختارهای Pydantic (Structured Output).
    • مدیریت خروجی‌های CSV و لیست‌ها.
• جریان‌های کاری پیشرفته:
  • اجرای Chain‌ها به صورت موازی (RunnableParallel).
  • شرطی‌سازی و مسیریابی Chain‌ها (Router Chains) برای سناریوهای مختلف.
• حافظه (Memory):
  • پیاده‌سازی Chat History در LangChain.
  • ذخیره و بازیابی تاریخچه مکالمات.

در فصل پیش رو، یاد می‌گیرید که چگونه اسناد و داده‌های ساختارنیافته (مانند PDF) را برای LLM آماده کنید. این شامل استفاده از Document Loaderها و ابزارهایی چون Docling برای استخراج داده‌هاست. تمرکز بر رفع محدودیت Context Window از طریق فرآیند Chunking و استفاده از روش‌های مؤثر مانند RecursiveTextSplitter است.

• کار با Document Loader‌ها:
  • بارگذاری فایل‌های PDF (PyMuPDF) ,Word و Excel.
  • استفاده از MarkItDown و Docling  برای تبدیل اسناد پیچیده به فرمت قابل فهم برای مدل.
  • استخراج جداول و تصاویر از اسناد.
• استراتژی‌های بخش‌بندی متن (Chunking):
  • محدودیت Context Window و جلوگیری از فراموشی مدل.
  • روش‌های RecursiveTextSplitter.

این بخش به طور کامل به سیستم‌های RAG (Retrieval-Augmented Generation) و نحوه غنی‌سازی پاسخ‌های LLM با دانش خارجی می‌پردازد. سرفصل‌ها شامل درک Embedding، کار با Vector Stores (مانند ChromaDB و FAISS) و پیاده‌سازی کامل چرخه RAG است. تمرکز اصلی بر ساخت Chain نهایی RAG و تکنیک‌های بهینه‌سازی آن است.

• مفاهیم Embedding و Vector Stores.
• کار با پایگاه داده‌های برداری (ChromaDB وFAISS).
• پیاده‌سازی کامل چرخه  RAG:
  • ایندکس کردن اسناد.
  • جستجوی تشابه (Similarity Search vs MMR).
  • ساخت Chain نهایی برای پاسخگویی به سوالات از روی اسناد (PDF ,Text).
• بهینه‌سازی RAG و تکنیک‌های پیشرفته (RAG Prompt Tuning).

در این فصل، شما از Chain به سمت ایجنت‌های تصمیم‌گیرنده که می‌توانند از ابزارها (Tools) استفاده کنند، حرکت می‌کنید. محتوا شامل مفهوم Tool Calling، استفاده از ابزارهای جستجوی آماده و ساخت ابزارهای سفارشی است. هدف این بخش، ساخت ایجنت‌های پیشرفته در LangChain و معرفی CrewAI برای ایجاد سیستم‌های چند ایجنتی (Multi-Agent Systems) است.

• Tool Calling:
  • آشنایی با مفهوم اتصال ابزار به LLM.
  • استفاده از ابزارهای آماده (Search Tools: Tavily ,DuckDuckGo ,Wikipedia).
  • ساخت ابزارهای سفارشی (Custom Tools) با پایتون.
• ساخت Agent:
  • تفاوت Chain و Agent.
  • ساخت ایجنت‌های تصمیم‌گیرنده با LangChain. 
  • مدیریت وضعیت ایجنت (State Management).
• پروژه پیشرفته Agentic RAG:
  • ترکیب RAG با قابلیت جستجو و تصمیم‌گیری خودکار.
• مقدمه‌ای بر CrewAI:
  • ساخت سیستم‌های چند ایجنتی (Multi-Agent Systems) برای سناریوهای پیچیده (مانند نوشتن داستان یا برنامه‌ریزی سفر).

فصل پیش رو دانش شما را در قالب پروژه‌های عملی و چندرسانه‌ای (Multimodal) به کار می‌گیرد. سرفصل‌ها شامل توصیف تصاویر با مدل‌های Vision (مانند LLaVA) و پردازش ویدیو با Whisper است. تمرکز این بخش بر پروژه‌های تخصصی مانند Web Scraping & Analysis و ساخت یک Resume Parser برای تحلیل خودکار اطلاعات است.

• پروژه‌های چندرسانه‌ای (Multimodal):
  • توصیف تصاویر با مدل‌های Vision (مانند LLaVA).
  • پردازش ویدیو و تبدیل گفتار به نوشتار (Whisper) برای خلاصه‌سازی ویدیو.
• پروژه‌های تخصصی:
  • Web Scraping & Analysis: استخراج داده از وب (مانند لینکدین) و تحلیل پروفایل‌ها یا رزومه‌ها با کمک LLM.
  • Resume Parser:  ساخت سیستم هوشمند تحلیل و استخراج اطلاعات از رزومه.

محتوای این فصل به طور کامل به بهینه‌سازی و افزایش سرعت اجرای مدل‌ها اختصاص دارد. معرفی vLLM و کاربرد آن در سرعت‌بخشی و کاهش مصرف حافظه، هسته اصلی این بخش است. تمرکز بر مقایسه عملکرد vLLM در اجرای همزمان درخواست‌ها و ادغام آن با LangChain برای بهینه‌سازی RAG و Agentها در محیط پروداکشن است.

• معرفی vLLM و کاربرد آن در سرعت‌بخشی و کاهش مصرف حافظه.
• آموزش نصب و راه‌اندازی vLLM در محیط محلی.
• مقایسه vLLM با اجرای استاندارد Ollama و مدل‌های Hugging Face.
• نمونه عملی: اجرای چند درخواست همزمان با vLLM و بررسی Performance.
• ادغام vLLM با LangChain و استفاده در RAG و Agentها.