آشنایی با ابزارهای پیش نیاز برای انجام یک پروژه پردازش زبان طبیعی

مقدمه

در مقاله قبلی، پردازش زبان طبیعی را تعریف کرده و کاربردهای آن را بررسی کردیم در این آموزش قصد داریم ابزارهای پیش نیاز برای انجام یک پروژه پردازش زبان طبیعی، معرفی کنیم و سپس نحوه نصب هرکدام را بررسی کنیم. این ابزارها شامل پایتون، jupyter Notebook و پارسی ور می‌باشد.
برای انجام پیش پردازش متون کتابخانه‌های زیادی مثل Spacy، Nltk ارائه شده که فقط تعداد معدودی از متون فارسی پشتیبانی می‌کنند که دقت بالایی ندارند. تعداد کتابخانه‌هایی که مخصوص زبان فارسی باشند زیاد نیستند و از معروف ترین آن‌ها هضم و Parsivar است. در ادامه قصد داریم نحوه نصب و استفاده از کتابخانه Parsivar نشان دهیم.
این کتابخانه توسط پژوهشکده فناوری اطلاعات جهاد دانشگاهی ارائه شده و کدهای مربوط به آن از این آدرس قابل دسترسی است. برای استفاده از آن ابتدا باید پایتون نصب شود.
در قدم اول باید پایتون را دانلود کنیم. به سایت پایتون  رفته و جدیدترین نسخه را دانلود می‌کنیم.پس از دانلود روی فایل نصبی کلیک می کنیم و صفحه زیر باز می‌شود.در حین نصب حتما تیک گزینه Add Python 3.8 PATH که در شکل زیر قابل مشاهده است، فعال شود. سپس گزینه Install Now را انتخاب می‌کنیم.نمایش صفحه زیر نشان دهنده نصب موفقیت آمیز پایتون است.در مرحله آخر در محیط Command Promptدستور “python –version” وارد می‌کنیم و باید نسخه پایتون سیستم نمایش داده شود.پس از نصب پایتون، Command Prompt را باز کرده و از طریق دستور

“pip install jupyter notebook”

پکیج notebook jupyter را نصب می‌کنیم.سپس دستور را “jupyter notebook” وارد می کنیم: حال محیط jupyter notebook داخل مرورگر باز می‌شود.حال با کلیک روی New از سمت راست بالا، python3 انتخاب کرده و یک فایل جدید ایجاد می‌کنیم.در این مرحله یک صفحه خام داریم.در محیط jupyter notebook به هر فضای خالی یک سلول می گوییم که داخل آن می توان کدهای پایتون نوشته و در نهایت از طریق دکمه Run، کدها را اجرا کنیم. البته برای اجرای کدهای سلول از فشردن همزمان کلیدهای Shift و Enter هم می‌توان استفاده کرد.

نصب Parsivar

حال باید پارسی ور نصب کنیم. کافی است دستور “!pip install parsivar” را داخل یک سلول جدید وارد کرده و روی دکمه Run کلیک کنیم. البته اینترنت حتما باید وصل باشد.باید پیغام نصب موفقیت آمیز پکیج نمایش داده شود.

“Successfully installed parsivar”

اگر مجددا مرحله قبل را تکرار کنیم پیغام زیر نمایش داده می‌شود.این پیام نشان می‌دهد که این پکیج روی سیستم نصب بوده و نیاز به نصب مجدد ندارد.
در این آموزش به سراغ نصب و معرفی ابزارها پرداختیم و پیش نیازهای لازم برای انجام پروژه‌ها را فراهم کردیم در آموزش بعدی با نحوه کار پکیج Parsivar بیشتر آشنا می‌شویم.