دوره یادگیری علم داده

این دوره با هدف یادگیری صحیح مراحل پروژه‌های داده محور تنظیم شده است. به طور معمول دوره‌های علم داده شامل طیف وسیعی از الگوریتم‌ها داده کاوی و یادگیری ماشین می‌شوند. اما ما این راه را برنگزیدیم زیرا براساس تجربه کاری و سال‌ها مصاحبه با متقاضیان کار در این حوضه دریافتیم که هرچند آشنایی با روش‌ها و الگوریتم‌های گوناگون مفید است اما آنچه در طول یک پروژه عملیاتی مفیدتر است، درک صحیح از متدلوژی کار با دادگان است. به همین دلیل با مثال‌های کاربردی و تشریح مطالب مناسب با استفاده از الگوریتم‌های شناخته شده و بسیار پرکاربرد در پروژه‌های عمومی داده محور، برآنیم تا کسانی که قصد دارند در این حوزه شروع به کارکنند را در کوتاه‌ترین زمان به توانمندی نسبتا قابل قبولی برسانیم.

بدین ترتیب بعد از این دوره، دانش آموختگان هم آماده دوره‌های پیشرفته می‌شوند و هم در محیط کار می‌توانند کار بر روی داده را شروع کرده و به فراخور سطح پیچیدگی پروژه در دست به نتیجه برسند.

۱. Python
۲. Scikit
۳. Matplotlib
۴. Numpy
۵. Pandas

از آنجا که دادگان دریافتی از کارفرما و یا منابع آزاد عمدتا ناشناخته هستند، شناخت و آزمون اولیه داده جهت آماده‌سازی آن برای مراحل بعدی جزء موارد چالشی و مهم است و در اکثر مواقع بسیار زمانبر است. یکی از نکات در این مرحله توانمندی فنی ما و آشنای ما با ابزار است. از آنجایی که در حال حاضر برای فازهای اولیه Data Exploration ابزاری پانداس جز مطرح ترین‌هاست، ما باید تا جای ممکن با آن آشنا شویم تا اهداف ما محدود به توانمندی فنی ما نشود.

۱. Series
۲. Data Frame
۳. Data Exploration
۴. Pandas Queries

سناریو: مفاهیم بالا در دیتا ست Baltimore Salary، Revenue-Budget_financial_Plan و 50StartUp بررسی و پیاده خواهد شد. این دیتاست‌ها بعضا برای اهداف آموزشی و تحقیقاتی نیستند و خروجی شرکت‌ها و بنگاه‌های سرمایه داری بزرگ هستند. در این دیتاست‌ها با دنبال کردن مراحل مورد نیاز، کار با پانداس و Data Exploration را خواهیم آموخت. بدلیل محدودیت‌های پانداس در برخی پروژه‌های عملیاتی SqlLite و MS Sql Server برای حل برخی مشکلات معرفی می‌گردند.

جهت انجام محاسبات عددی در مرحله Exploration نیز موارد مورد نیاز از کتابخانه numpy پوشش داده خواهد شد.

۱. Classification & Regression

• Linear Regression
• Logistic Regression
• Evaluation Methods (LMSE, MSE..)
• Decision Tree
• Random Forest
• Evaluation methods (Confusion Matrix, ROC, AUC, F1 Score)

۲. Clustering

• Methodology
• Kmeans
• معرفی Density Based, Hierarchical, Grid Based

۳. سناریوها:

• بررسی نقاط ضعف و قوت الگوریتم‌ها بالا
• پیشبینی و اننتخاب مناسب ترین قیمت کالا بر اساس خصیصه‌های مختلف آن (دیتاست Airbnb)
• دسته بندی دانش آموزان و پیش بینی قبولی یا مردود شدن آنها (دیتاست Student Performance)
• دسته بندی رفتار نمایندگان پارلمان و دسته بندی آرای آنها (دیتاست Congress 2016)
• تحلیل و دسته بندی درآمد افراد و ارتباط آن با خصیصه‌های دیگرشان (دیتاست Adults)
• انتخاب خصیصه‌های Categorical و راه حل مدیریت آنها
• تعدادی سناریو و نکات آماری

۱. مهندسی خصیصه
۲. آمار در انتخاب خصیصه
۳. برخی الگوریتم‌های انتخاب خصیصه
۴. مدیریت خصیصه‌های غیر عددی
۵. Transformation