آموزش علم داده در کسب و کار

علم داده در صنعت در بسیاری از موارد در Filter ,Sort و Pivot Table  اکسل به همراه رگرسیون خطی خلاصه می شود، در این دوره نحوه درست استفاده از علم داده را بررسی خواهیم کرد.

1. هوش مصنوعی، داده کاوی و یادگیری ماشین
2. کاربرد‌های داده کاوی
3. دانشمند داده، تحلیلگر داده، مهندس داده و شغل‌های مرتبط با علم داده
4. چرخه CRISP-DM

مهم ترین بخش چرخه CRISP-DM درک و امکان سنجی هدف هست و بسیاری از پروژه‌ها به دلیل نداشتن هدف SMART با شکست رو به رو می‌شوند.

1. هدف‌های SMART
2. شفاف کردن هدف‌ها، اولویت‌ها و تعیین مسیر پروژه
3. امکان سنجی
4. مهارت نرم (درک چالش‌ها و ارائه راهکار)

هر مدلی به اندازه ویژگی‌های به کار رفته در آن مناسب است و  پس از مشخص نمودن هدف‌های پروژه نیاز است تمامی منابع کمک کننده جهت رسیدن به هدف شناسایی و بررسی شده که خروجی بهینه ای حاصل گردد.

1. شناخت منابع، مالکان و دسترس پذیری داده‌ها
2. پرسش، تردید، کاوش و تجربه
3. مهارت نرم (استخراج اطلاعات از افراد با تجربه و اعتبار سنجی آن)

به طور معمول 80 درصد زمان پروژه داده محور در این مرحله صرف می‌شود که علت آن کثیفی داده‌ها و زمان بر بودن پروسه تمیز کردن آن‌ها می‌باشد، از این رو شناخت داده کثیف و نحوه تمیز کردن آن و مشکلات و اشتباهات رایجی که در این مسیر وجود دارد بسیار حائز اهمیت است.

1. انبار داده (SQL ,Schema ,HDFS)
2. بیگ دیتا (5V)
3. داده کثیف
4. تمیز کردن داده
5. آمار، راه حل یا مشکل؟

1. تفاوت Outlier ,Anomaly و Noise
2. مشکلات همیشگی (Missing data ,Miss match ,Null ,0 ,NaN ,etc.)
3. مهندسی ویژگی (Curse of dimensionality ,Feature selection & extraction & Scaling ,Encoding ,Tokenize)
4. نشت داده (Data leakage)

مشتق و انتگرالی که همیشه با کاربردش شوخی می‌شود به کمک جبر خطی زیربنای اصلی فرآیند مدل سازی می‌باشد، ولی در این قسمت بیشتر هدف آشنایی با عملکرد و کاربرد مدل‌های مختلف در صنعت و در نهایت یادگیری نحوه کار  GPT‌ها (به صورت ساده شده) می‌باشد.

1. الگوریتم‌های دسته بندی (DT ,SVM ,etc.)
2. الگوریتم‌های خوشه بندی (K-means ,DBSCAN ,etc.)
3. الگوریتم‌های پیش بینی (ANN ,SVR ,etc.)
4. قواعد انجمنی (Apriori ,FP – growth ,Eclat)

مشتق و انتگرالی که همیشه با کاربردش شوخی می‌شود به کمک جبر خطی زیربنای اصلی فرآیند مدل سازی می‌باشد، ولی در این قسمت بیشتر هدف آشنایی با عملکرد و کاربرد مدل‌های مختلف در صنعت و در نهایت یادگیری نحوه کار  GPT‌ها (به صورت ساده شده) می‌باشد.

1. یادگیری جمعی (Boosting ,bagging ,etc.)
2. یادگیری عمیق و تقویتی (CNN ,LSTM ,Transformer ,Q-learning ,etc.)
3. جی پی تی (Generative pretrained Transformer ,GANs)

ارزیابی درست مدل تضمین کننده نتایج قابل اتکا در آینده می‌شود و در مواردی حتی نیاز به استفاده از چند معیار جهت ارزیابی درست و دقیق مدل می‌باشد که یکی از نمونه‌های پرکاربرد آن تشخیص تقلب ( Fraud detection) می باشد که صرفا با معیار Accuracy قابل ارزیابی نمی‌باشد. 

1. Bias – Variance Trade-off
2. معیار‌ها و روش‌های ارزیابی (Train ,Validation ,Test ,Cross – validation ,RMSE ,Confusion matrix ,Silhouette Score ,etc.)
3. اشتباهات رایج (Imbalanced data)

عیار پروژه به خروجی‌های مثبت و پایدار آن می‌باشد که این امر نیازمند مستندسازی، برنامه ریزی دقیق، مانیتورینگ و بازنگری می‌باشد.

1. مستند سازی و برنامه ریزی اجرا
2. مانیتورینگ 
3. گزارش نهایی و بازنگری پروژه

داشتن گواهی‌نامه رانندگی به معنی راننده خوب بودن نیست. در علم داده نیز، داستان مشابه است و در این فصل به این می پردازیم که چطور در این رقابت سخت جایگاه مناسب خود را پیدا کنیم.

1. نرم افزار‌های کاربردی (Anaconda ,Rapidminer ,knime ,etc.)
2. از اول چرخ درست نکردن! (Best Practices ,Using GPTs)
3. داستان سرایی با داده (Win-Win Strategy ,Lift-Chart ,Black Box Models)
4. بیش از حد مسائل را پیچیده نکردن!
5. معیار‌های برتری (سرعت و دقت، تفکر خلاق، تعریف KPI)
6. آمادگی برای مصاحبه (STAR Method)