نقشه راه یادگیری پردازش زبان طبیعی

مقدمه

پردازش زبان طبیعی حوزه‌ای جذاب هم در بازارهای داخلی و هم خارجی است. با یادگیری مباحث مربوطه می‌توانیم هم روی متون فارسی و هم متون انگلیسی کار کنیم.
اگر بازار داخل را انتخاب کنیم چون در این بخش صنعت ابتدای کار است پس درآمدی خوب منتظرمان است ولی توصیه بهتر این است که رویکردمان را گسترش بدهیم و به پروژه‌های خارجی فکر کنیم و با دورکاری درآمد دلاری داشته باشیم. تعداد پروژه‌های انگلیسی چندین برابر است و همچنین کار روی متون انگلیسی به دلیل وجود کتابخانه‌های قوی، بسیار آسان تر است.
Natural Language Processing یا NLP یکی از محبوب‌ترین حوزه‌های فعلی یادگیری ماشین است. هدف اصلی NLP درک زبان انسان توسط ماشین است. ابتدای کار و برای درک اهمیت موضوع، کافی است عبارت”NLP jobs” سرچ کنیم.

تعداد نتایج جستجو بالاست و این نشانه‌ی خوبی است برای اینکه کارشناس پردازش زبان طبیعی در انواع کسب و کارهای جهانی جای خود را باز کرده و این تقاضا به مرور در حال گسترش است. همچنین با جستجو عباراتی مثل “کارشناس پردازش متن” می‌توان یک دید نسبتا جامع در مورد میزان تقاضای این فیلد کاری در ایران پیدا کرد.
ولی متاسفانه منبع مناسب و ساختاریافته و مدون آموزشی برای علاقمندان و فعالین این حوزه وجود ندارد. منابع آموزشی متنی یا ویدیویی خوبی وجود دارند که یکپارچه نبوده و برای فهم هر موضوعی، زمان زیادی صرف جستجو می شود.‌هدف از این نوشتار دسته بندی و جمع بندی برخی از بهترین آموزش‌های حوزه پردازش زبان طبیعی است.
قبل از شروع معرفی منابع، بهتر است برخی مقدمات گفته شود تا افرادی که به تازگی وارد این حوزه شده‌اند بتوانند ارتباط مناسب با متن برقرار کنند

پردازش زبان طبیعی چیست؟

پردازش زبان اشاره دارد به زبانی که ما انسان‌ها به کمک آن صحبت می‌کنیم و یا در نوشته هایمان استفاده می‌کنیم و پردازش زبان طبیعی تلاش می‌کند تا به کمک الگوریتم‌ها، اطلاعات را از کلمات موجود در گفتار و نوشتارمان به دست آورد.
NLP شامل دو مد active وpassive می‌باشد:

• natural language generation (NLG) برای فرموله کردن کلمات و عبارات
• natural language understanding (NLU) به هدف توانایی درک عبارات و همچنین نیت و هدف هر کلمه

کاربرد های NLP

برخی از کاربردهای پردازش زبان طبیعی در صنعت به صورت زیر است:

• پزشکی: خلاصه سازی کلیه سوابق بیمار
• حقوق: پیدا کردن پرونده‌های مشابه
• اقتصادی: بررسی اخبار مربوط به بورس و کمک به خرید و فروش بهتر سهم
• بیمه: chatbot خودکار و هوشمند برای راهنمایی خرید بیمه
• بازاریابی: شرکت‌ها دیدگاه افراد نسبت به برند خود را در مجموع(تحلیل عواطف) بررسی کنند

مثال‌های عملیاتی

از جمله مهم ترین دستاوردهای NLP به صورت زیر است:

• دستیارهای صوتی مثل Apple/Siri و Amazon/Alexa
• ترجمه خودکار مثل ماشین ترجمه گوگل، مترجم Microsoft

البته کاربردهای پردازش زبان طبیعی در زندگی روزمره ما فراتر از مثال‌های ذکر شده است و هر روزه گسترده‌تر می‌شود. برای مثال هنگام جستجو در گوگل، با نوشتن اولین کلمه، برخی عبارات به شما پیشنهاد داده می‌شود. یا در تلفن هوشمند هنگام ارسال پیامک با نوشتن اولین کلمه، کلمات بعدی پیشنهاد می‌شود. میزان نفوذ NLP در زندگی روزانه همینقدر زیاد و فراگیر است و این نویدبخش رونق این حوزه در آینده نزدیک است.

چرا NLP یک فعالیت سخت است؟

زبان به صورت ذاتی ابهام زیادی دارد و برای درک درست معنی کلمات و جملات باید به محتوا(Context)دقت کرد. مثلا “بخشش لازم نیست اعدامش کنید” درک چنین جمله‌ای حتی برای انسان‌ها هم سخت بوده چون دو برداشت متفاوت وجود دارد. برداشت اول، که درخواست بخشش کرده و می‌گوید اعدامش نکنید و برداشت دوم که درخواست اعدام وی را دارد. پس یک جمله می‌تواند معانی متفاوتی داشته باشد. پس یکی از دلایل سختی NLP، ابهام و پیچیدگی عبارات است. البته مواردی مثل کنایه نیز تحلیل را سخت تر می‌کند.
از طرفی با گذشت سالیان دراز، جملات به مرور کوتاه تر شده که درک جملات کوتاه نسبت به جملات طولانی نیز دردسرساز است. امروزه هدف ایجاد ارتباط و انتقال مفاهیم با کمترین تعداد کلمه است. چنین چیزی شاید برای انسان‌ها خوشایند باشد ولی کار ماشین را سخت می‌کند. هرچقدر متن طولانی‌تر باشد، درک ماشین از متن بهتر می‌شود.

چرا الان یادگیری پردازش زبان طبیعی را شروع کنیم؟

یکی از دلایل مهم رشد NLP در دو دهه اخیر، رشد و توسعه وب است. در بستر وب، حجم زیادی داده متنی تولید شده است. دلیل دوم، رشد و توسعه CPUs/GPUs چند هسته‌ای هستند که این امکان را فراهم می‌کنند روی داده‌های حجیم الگوریتم‌های یادگیری ماشین اجرا شوند.
برخلاف گذشته که با کمبود سخت افزار و ابزار روبرو بودیم امروزه سخت افزارهای زیادی در دسترس هستند. فریمورک‌ها و ابزارهای توسعه وب رشد زیادی داشته و باعث شده تعداد زیادی وب سایت وجود داشته باشد. هرچقدر تعداد وبسایت‌ها بیشتر باشد حجم داده ها نیز افزایش پیدا می‌کند.
یکی از دلایل دیگر رشد سریع NLP اعتماد صنعت به هوش مصنوعی و ابزارهاست. در دهه‌های قبل، این نگرانی وجود داشت که اگر یک ابزار به کمک داده، وظایفی را بدون نظارت انسان انجام دهد، فاجعه رخ خواهد داد. ولی به مرور این اعتماد بیشتر شده و راحت تر می‌توانیم به یک ابزار خودکار اعتماد کنیم.

همه ی این دلایل باعث شده که NLP یکی از موضوعات داغ صنعت و دانشگاه شود و می‌توان از این فرصت طلایی برای رشد و کسب درآمد استفاده کرد.
قبل معرفی هر گونه منبعی توضیح یک نکته به شدت ضروری است. پردازش زبان طبیعی از آن دست فیلدهایی است که به جرات می‌توان گفت ماهانه تکنولوژی جدید معرفی می‌شود. برای یقین از صحت این ادعا کافی است به ۲۰۱۸ و زمانی که Bert معرفی شد و باعث بهبود چشمگیر نتایج taskهای مطرح پردازش زبان طبیعی شد رجوع کنیم. ولی به آنجا ختم نشد و به فاصله کمی تکنولوژی‌های جدید معرفی شدند و در زمانی که این متن در حال نگارش است OpenAi GPT-3 معرفی شد.

با توضیح بالا، ممکن است نگران شده و از خودتان بپرسید آیا توانایی به روز ماندن را دارم یا خیر. نکته قابل توجه این است که این نگرانی مختص به NLP نیست و کسانی که در دنیای برنامه نویسی هستند کم و بیش درگیر این موضوع هستند. حال چه باید کرد. به عنوان یک جواب تجربی که خیلی هم به صحت آن مطمئن نیستم توصیه می‌کنم ابزارها و تکنولوژی های جدید را ابتدا کلی بررسی کنیم یعنی لازم نیست بلافاصله چند دوره پیدا کرده و ساعت ها برای آموزش نحوه کار تکنولوژی جدید وقت صرف کنیم. بهتر است به محض معرفی یک تکنولوژی جدید باید بررسی کنیم

• این تکنولوژی برای چه هدفی ارائه شده؟
• روش های قبلی چه عیبی داشته که این روش جدید معرفی شده است؟
• و این روش جدید چگونه معایب روش‌های قبلی را برطرف می‌کنند و آیا واقعا برطرف می‌کنند؟

اگر جواب سوال‌های بالا را بدانیم بخش مهمی از مسیر را طی کرده و در صورت نیاز بعدا به سراغ جزئیات هر روش رفته و با چند متن یا ویدیو آموزشی نحوه کار با آن را یاد می‌گیریم. البته در محیط‌های شرکتی معمولا در ۸۰ درصد مواقع از معرفی تکنولوژی جدید تا استفاده از آن چند ماهی طول می‌کشد تا آن تکنولوژی در محیط‌های آزمایشی جواب خود را پس بدهد.