دوره آموزشی پیشرفته پردازش متون فارسی [به کمک شبکه‌های عمیق]

سرفصل‌های این دوره آموزشی

۱- مقدمات

• مرور کلی دوره
• معرفی مدرس
• بررسی پیش نیازها
• معرفی ابزارهای پیش نیاز
• آموزش نصب پایتون و jupyter notebook و tensorflow
• آموزش کار با jupyter notebook
• آموزش کار با google coolab

در این فصل ابتدا تمام مثال هایی که در طول دوره پیاده سازی می شوند به اختصار توضیح داده می شوند در ادامه به سوالاتی مثل:

• “مخاطب دوره کیست”
• “پیش نیازهای لازم برای بهره برداری حداکثری از این دوره چیست”
• “در این دوره با چه ابزارهایی آشنا خواهیم شد”

پاسخ می‌دهیم. سپس ابزارهای پیش نیاز (پایتون، تنسورفلو و ژوپیتر) معرفی و نصب خواهند شد. در نهایت نحوه کار با jupyter notebook، google coolab آموزش داده می شود.

۲- پایتون

• آموزش کار با کتابخانه pandas
• آموزش کار با کتابخانه numpy
• آموزش کار با کتابخانه genism
• آموزش کار با کتابخانه keras
• آموزش کار با کتابخانه sklearn
• آموزش کار با کتابخانه tensorflow

در این قسمت، آموزش کار با مهم ترین پکیج های پایتون مثل:

• Pandas (برای کار با دیتافریم ها)
• Numpy (برای کار با آرایه ها)
• Keras (برای تعریف و پیاده سازی شبکه های عصبی)
• Sklearn (کتابخانه مخصوص یادگیری ماشین)
• Tensorflow (کتابخانه تخصصی برای تعریف مدلهای یادگیری عمیق)
• Genism (مخصوص Topic Modeling)

ارائه می‌شود. این پکیج‌ها عمومی بوده و در پروژه‌های دیگر مثل کار با تصاویر نیز قابل استفاده هستند

۳- Word Representation

• معرفی روش one hot coding
• معرفی مدل bag of word
• بررسی تفاوت one hot coding و bag of word
• بررسی معایب روش one hot coding
• بررسی روش های جایگزین

وقتی در پروژه ای داده ها از جنس متن باشد اولین مرحله تبدیل و نگاشت متن به ویژگی است. به عبارتی متون باید به فرمتی تبدیل شوند که بتوان به عنوان ورودی به الگوریتم های یادگیری ماشین ارسالشان کرد. در این بخش روش های مختلف Word Representation معرفی کرده و نقاط ضعف و قوت هرکدام نیز بررسی می شوند.

۴- Word Embbeding

• Word Embbeding چیست؟
• بررسی مزایا استفاده از Word Embbeding
• بررسی کاربردهای Word Embbeding
• معرفی انواع Word Embbeding

در این بخش تمرکز اصلی روی Word Embbeding است. از مزایا و معایب آن خواهیم گفت و به یک سوال مهم جواب می دهیم که چرا Word Embbeding سریعا جایگزین روش های قبلی مثل bow شدند و کیفیت و عملکرد taskهای پردازش زبان طبیعی را تا این حد تحت تاثیر قرار داد.

۵- Language Modeling

• Language Modeling چیست
• بررسی کاربردهای Language Modeling
• بررسی ساختار Language Modeling

یکی از taskهای رایج پردازش زبان طبیعی مدل‌های زبانی یا Language Modeling است که در بخش‌های مختلف NLP کاربرد دارد. برای مثال وقتی در حال ارسال پیامک هستین با تایپ کلمه اول و دوم، کلمه سوم را به شما پیشنهاد می‌دهد. یا در مثال دیگری دیوان اشعار یک شاعر را به مدل هوش مصنوعی داده و پس از train و آموزش‌های لازم، مدل شروع به تولید اشعار جدید می کند(اشعاری که به سبک و سیاق شاعر باشد)

۶- word2vec

• بررسی تاریخچه word2vec
• بررسی ساختار word2vec
• معرفی Co-Occurrence Matrix
• معرفی انواع word2vec
• بررسی روش cbow
• بررسی روش skip-gram
• آموزش استفاده از word2vec روی داده های دلخواه
• آموزش استفاده ازpretrained word2vec

گوگل در سال 2013، برای تولید word embedding روش معروف word2vec معرفی کرد. در این قسمت، با ساختار word2vec و انواع آن آشنا می‌شویم. در ادامه word2vec روی متون فارسی اجرا کرده و در نهایت embedding space آنرا رسم می‌کنیم. نتیجه به صورت زیر است.

۷- Glove

• بررسی تاریخچه Glove
• بررسی ساختار Glove
• آموزش پیش پردازش اولیه متون
• آموزش استفاده از Gloveروی داده های دلخواه و ذخیره مدل
• پیدا کردن کلمات هم معنی
• محاسبه شباهت بین دو کلمه دلخواه
• آموزش استفاده ازpretrained Glove

دانشگاه استنفورد مدل توسعه یافته word2vec یعنی Glove را ارائه داد. در این بخش، نقاط ضعف word2vec را بررسی می‌کنیم و راه حل‌های Glove برای آن شرح داده می‌شود. در ادامه یک متن بزرگ فارسی را ابتدا تمیز کرده و سپس روی متن مدل Glove اجرا می کنیم. سپس مدل را ذخیره کرده و بردار کلمات را بررسی می‌کنیم. برای بررسی خروجی مدل بهترین راه، آنالوژی است مثلا بین دو کلمه هم معنا میزان شباهت را بررسی کرده و اگر مقادیر بهم نزدیک بود یعنی خروجی مدل خوب است.

۸- FastText

• بررسی تاریخچه FastText
• بررسی ساختار FastText
• آموزش استفاده از FastTextروی داده های دلخواه به کمک gensim و ذخیره مدل
• آموزش retrain کردن مدل قبلی با داده های جدید
• آموزش استفاده از FastText Pretrained
• آموزش Visualize Word Embedding

فیسبوک برای تولید word emedding مدل FastText را ارائه داد. در این بخش ابتدا با ساختار FastText آشنا شده و سپس یک متن بزرگ فارسی را ابتدا تمیز کرده و سپس به کمک gensim روی متن مدل FastTextاجرا می کنیم. سپس مدل را ذخیره کرده و بردار کلمات را بررسی می کنیم. در ادامه مهم ترین توابع genism آموزش داده می شود.

۹- شبکه عصبی

• Perceptron چیست
• Multi Layer Perceptron
• Activation Function
• انواع Activation Function
• Loss Function & Cost Function
• انواع Loss Function
• Backpropagation
• Optimization Algorithm
• Gradient Descent
• Learning Rate
• Decay Rate
• Overfitting & Underfitting
• Dropout
• (L1 & L2) Weight Regularization
• Batch Normalization
• Transfer Learning

در دهه اخیر استفاده از شبکه های عصبی برای حل مسائل رشد چشمگیری داشت. برای سناریوهای مختلف مثل پردازش صوت، تصویر و متن معمولا شبکه عصبی یکی از گزینه‌های جدی است و به همین دلیل دانستن مقدمات شبکه عصبی ضروری است. در این بخش سعی شده تا تمامی مفاهیم اصلی شبکه عصبی پوشش داده شود. مفاهیم به زبان ساده و در قالب مثال و تصویر بیان شده اند. مطالب مطرح شده در این قسمت، عمومی بوده و برای کار با هر نوع داده ای قابل استفاده هستند.

۱۰- Convolutional neural network

• Filters
• Pooling Layer
• Padding
• Flatten Layer
• Conv1D Layers
• Conv2D Layers

CNNها نوعی از شبکه‌های عصبی عمیق هستند که معمولاً برای انجام تحلیل‌های تصویری یا گفتاری در یادگیری ماشین استفاده می‌شوند. یکی از مهم ترین کاربردهای آن استخراج ویژگی است. از قابلیت‌های مهم CNNها کم کردن تعداد وزن هایی که در فرآیند train مورد استفاده هستند و همین موضوع باعث کاهش چشمگیر ظرفیت مدل شده است. در این بخش اجزای مختلف CNN معرفی شده و کارکرد هرکدام به تفصیل بیان می شود.

۱۱- Keras Fuctional Api

• Keras چیست
• بررسی انواع روش های پیاده سازی شبکه عصبی
• Sequential Model چیست
• پیاده سازی یک مدل با ورودی چندگانه (Multiple Inputs)
• پیاده سازی یک مدل با خروجی چندگانه(Multiple Outputs)
• نمایش بصری معماری مدل به کمک plot_model
• پیاده سازی یک مثال تمرینی

کراس یکی از معرو فترین ابزارهای تعریف و پیاده سازی مدل های یادگیری عمیق است. در این بخش با قابلیت های کراس آشنا می شویم. سپس روش های مختلفی که به کمک کراس می توان مدل تعریف کرد را بیان می کنیم. یکی از روش ها، استفاده از Sequential Model است که از ویژگی های آن سادگی است ولی برای پیاده سازی مدل های ترکیبی ناتوان است. به همین دلیل در ادامه Keras Fuctional Api، که روشی قدرتمند برای تعریف مدلهای پیچیده است را معرفی کرده و چند مثال تمرینی انجام می دهیم. مثال هایی که شامل چند ورودی و چند خروجی هستند. سپس گراف هر یک از مدل ها را با plot_model ترسیم می کنیم.

۱۲- شبکه‌های عصبی بازگشتی

• RNN
• Vanishing Gradient
• LSTM
• GRU
• Deep RNN
• Bidirectional RNN

شبکه‌های عصبی بازگشتی برای کار با داده هایی که ترتیب و توالی دارند معرفی شدند(مثل جملات که هر جمله شامل چند کلمه است که ترتیب کلمات مهم بوده و در محاسبات باید در نظر گرفته شود). در این بخش با انواع آنها آشنا شده و ساختار هرکدام بررسی می شوند.

۱۳- پیاده سازی پروژه تشخیص زبان متن(Language Recognizer)

• تعریف مساله
• مدلسازی مساله
• آشنایی با داده ها و تمیزسازی آن
• طراحی شبکه عمیق مناسب برای مساله و آموزش آن
• آموزش استفاده از توابع Tensorflow
• طراحی و پیاده سازی مدل
• ذخیره مدل train شده
• نمایش و بررسی نمودار دقت در epoch های مختلف
• بررسی نتایج و کیفیت خروجی

در این قسمت پروژه تشخیص زبان متن را پیاده سازی می کنیم. هر متن با هر طولی به عنوان ورودی ارسال شده و زبان آن تشخیص داده می شود. در ابتدا با داده ها آشنا شده و پیش پردازش های لازم را انجام می دهیم. سپس یک شبکه عمیق مناسب طراحی و پیاده سازی می کنیم. در ادامه آموزش انتخاب تعداد epoch مناسب به کمک نمودار را خواهیم داشت و بعد از اتمام آموزش، وزن های مدل را ذخیره می کنیم. از نکات قالب توجه این پروژه، دقت بالای مدل روی داده های تست است.

۱۴- پروژه تحلیل عواطف نظرات دیجی کالا (Sentiment Analysis)

• تعریف مساله
• مدلسازی مساله آشنایی با داده ها و تمیزسازی آن
• پیاده سازی با LSTM
• پیاده سازی با LSTM With Dropout
• پیاده سازی با LSTM And CNN
• تحلیل خروجی های هر سه مدل بالا

در یک پروژه نظرات کاربران یک سایت در اختیار شما قرار می گیرد و از شما می خواهند به صورت خودکار نظرات مثبت از نظرات منفی جدا شوند. وقتی هدف تشخیص مثبت یا منفی بودن یک نوشته باشد(یک جمله، پاراگراف یا یک متن طولانی) باید به سراغ تحلیل عواطف برویم. تحلیل عواطف(sentiment analysis) از پرکاربردترین فعالیت های حوزه پردازش زبان طبیعی است که در این قسمت سه پیاده سازی متفاوت خواهیم داشت. در نمودار زیر از epoch 2 به بعد شاهد overfitting هستیم.

۱۵- پروژه تشخیص ایمیل های اسپم فارسی (Spam Detector)

• تعریف مساله
• مدلسازی مساله
• آشنایی با داده ها و تمیزسازی آن
• دو پیاده سازی متفاوت برای حل مساله
• تحلیل خروجی ها به کمک نمودار

در این بخش پروژه تشخیص ایمیل های اسپم را پیاده سازی می کنیم. ابتدا با داده ها آشنا شده و پیش پردازش های لازم را انجام می دهیم. سپس یک شبکه عمیق مناسب طراحی و پیاده سازی می کنیم. در ادامه یک شبکه دیگر طراحی شده و مساله به نحوی دیگر حل می کنیم با این هدف که نشان دهیم برای هر مساله می توان مدل های متنوعی طراحی و پیاده سازی کرد و انتخاب آن تا حد زیادی تجربی است.

۱۶- پروژه خوشه بندی کلمات فارسی (Word Clustering)

• تعریف مساله
• ایجاد Embedding Space
• نحوه ذخیره بردارهای کلمات
• نمایش نتایج به کمک TensorBoard

یکی از کارهای پایه و جذاب در پردازش زبان طبیعی تولید بردار کلمات و انجام عملیاتی مثل آنالوژی و خوشه بندی کلمات است. در این پروژه یک Fake Task تعریف کرده و از لایه یکی مانده به آخر آن، بردار کلمات را استخراج می کنیم و یک word embedding خواهیم داشت. در شکل زیر یک embedding space از کلمات را مشاهده می کنیم.

۱۷- مدل‌های seq2seq

• Encoder Decoder
• Attention Mechanism
• Teacher Forcing
• Return sequence چیست
• Return state چیست
• تفاوت Return sequence و Return state

مدل های seq2seq برای کار با داده های از جنس sequence هستند که در این بخش مفصلا مورد بحث و بررسی قرار می گیرند. مدل های Encoder &Decoder را بررسی می کنیم و چند مثال از داده های از جنس sequence مثل جملات و بورس بیان می کنیم.

۱۸- پروژه تولید اشعار عطار(Text Generator)

• تعریف مساله
• مدلسازی مساله به کمک seq2seq
• آشنایی با داده ها و تمیزسازی آن
• آشنایی با توابع مهم تنسورفلو برای پیش پردازش داده ها
• طراحی و آموزش شبکه عمیق مناسب برای مساله(Encoder & Decoder)
• استفاده از ModelCheckpoint برای ذخیره سازی وزن ها

یکی از کاربردهای مدل های Text Generator ,seq2seqاست. در این پروژه به کمک معماریEncoder &Decoder مساله را مدلسازی کرده و سعی می کنیم در حین انجام پروژه کار با مهم ترین توابع تنسورفلو2 آموزش دهیم. خروجی کار تولید مصرع هایی مثل شکل زیر است که با یک دیتاست کوچک و در مدت زمان کوتاهی نتایج قابل قبول است.

۱۹- پروژه ماشین ترجمه انگلیسی به فارسی (Machine Translation)

• تعریف مساله
• بررسی روش های پیاده سازی ماشین ترجمه
• معرفی معیار Bleu برای ارزیابی کیفیت ترجمه
• آموزش استفاده از توابع آماده Bleu در nltk
• مدلسازی مساله به کمک seq2seq
• چگونه به کمک نمودار توزیع کلمات، max-length مناسب پیدا کنیم
• آشنایی با داده ها و تمیزسازی آن
• طراحی و آموزش مدل seq2seq برای مساله به کمک Teacher Forcing

یکی دیگر از کاربردهای مدل های seq2seq،ماشین ترجمه است. در این پروژه به کمک معماریEncoder &Decoder مساله را مدلسازی کرده و متون انگلیسی را به فارسی ترجمه می کنیم. همچنین برای بررسی کیفیت خروجی از معیار bleu استفاده می کنیم.

۲۰- پروژه خلاصه ساز متون فارسی (Text Summarization System)

• تعریف مساله
• آشنایی با انواع روش های پیاده سازی خلاصه ساز متون
• مدلسازی مساله به کمک seq2seq
• آشنایی با داده ها و تمیزسازی آن
• طراحی و آموزش مدل seq2seq
• تحلیل نتایج

یکی از چالش های روزانه خواندن متون طولانی است. در این بخش پروژه خلاصه سازی متون را خواهیم داشت. ورودی یک متن بوده و خروجی درک مدل از متن ورودی در قالب جملات جدید است.

۲۱- تشخیص موجودیت‌های نامدار فارسی (Named Entity Recognition)

• NER چیست
• بررسی انواع برچسب زنی های NER
• آشنایی با داده ها و تبدیل فرمت آنها
• پیدا کردن max_length مناسب به کمک نمودار
• طراحی یک مدل Bidirectional LSTM
• معرفی لایه های SpatialDropout1D، Bidirectional، TimeDistributed
• CallBack چیست
• Early Stopping چیست
• آموزش استفاده از PlotLossesCallback

یکی از فعالیت های پایه ای در NLP تشخیص موجودیت های نامدار است. در این پروژه هدف تشخیص برچسب کلمات است. ابتدا NER تعریف شده و سپس پیش پردازش های لازم روی داده ها انجام می شود. در حین انجام پروژه برخی مفاهیم کلیدی مثل CallBack ،Early Stopping و SpatialDropout1D مطرح می شود. دقت خروجی 98 درصد بوده و برخی از نتایج در شکل زیر قابل مشاهده است