Python機(jī)器學(xué)習(xí)算法實(shí)戰(zhàn)
講師:傅一航 瀏覽次數(shù):2552
課程描述INTRODUCTION
Python機(jī)器學(xué)習(xí)算法
培訓(xùn)講師:傅一航
課程價(jià)格:¥元/人
培訓(xùn)天數(shù):3天
日程安排SCHEDULE
課程大綱Syllabus
Python機(jī)器學(xué)習(xí)算法
【課程目標(biāo)】
本課程為高級(jí)課程,專注于機(jī)器學(xué)習(xí)算法,原理,以及算法實(shí)現(xiàn)及優(yōu)化。
通過本課程的學(xué)習(xí),達(dá)到如下目的:
1、熟悉常見的機(jī)器學(xué)習(xí)的算法。
2、掌握機(jī)器學(xué)習(xí)的算法原理,以及數(shù)據(jù)推導(dǎo)。
3、學(xué)會(huì)使用Python來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法,以及優(yōu)化算法。
4、掌握scikit-learn擴(kuò)展庫(kù)來(lái)實(shí)現(xiàn)機(jī)器學(xué)習(xí)算法。
【授課對(duì)象】
IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。
【課程大綱】
一、機(jī)器學(xué)習(xí)基礎(chǔ)
1、機(jī)器學(xué)習(xí)簡(jiǎn)介
2、機(jī)器學(xué)習(xí)的種類
-監(jiān)督學(xué)習(xí)/無(wú)監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)
-批量學(xué)習(xí)和在線學(xué)習(xí)
-基于實(shí)例與基于模型
3、機(jī)器學(xué)習(xí)的主要戰(zhàn)挑
-數(shù)據(jù)量不足
-數(shù)據(jù)質(zhì)量差
-無(wú)關(guān)特征
-過擬合/擬合不足
4、機(jī)器學(xué)習(xí)任務(wù)
-監(jiān)督:分類、回歸
-無(wú)監(jiān)督:聚類、降維、關(guān)聯(lián)規(guī)則
5、機(jī)器學(xué)習(xí)基本過程
6、機(jī)器學(xué)習(xí)常用庫(kù)
二、回歸算法實(shí)現(xiàn)
1、建模的本質(zhì),其實(shí)是一個(gè)最優(yōu)化問題
2、回歸模型的基礎(chǔ)
3、基本概念:損失函數(shù)
4、線性回歸常用算法
-普通最小二乘法OLS
-梯度下降算法
-牛頓法/擬牛頓法
5、最小二乘法
a) 數(shù)學(xué)推導(dǎo)
b) OLS存在的問題
6、過擬合解決方法:正則化
-嶺回歸(Ridge)
-套索回歸Lasso
-ElasticNet回歸
-各種算法的適用場(chǎng)景
7、超大規(guī)模數(shù)據(jù)集的回歸模型:迭代算法
-梯度概念
-梯度下降/上升算法
-批量梯度BGD/隨機(jī)梯度SGD/小批量梯度MBGD
-學(xué)習(xí)率的影響
-早期停止法
8、梯度算法的關(guān)鍵問題
9、牛頓法/擬牛頓法
-泰勒公式(Taylor)
-牛頓法(Newton)
-擬牛頓法(Quasi-Newton)的優(yōu)化
-DFP/BFGS/L-BFGS
10、算法比較
三、邏輯回歸算法
1、邏輯回歸基礎(chǔ)
2、LR的常用算法
-*似然估計(jì)法
-梯度算法
-牛頓法
3、*似然估計(jì)法
-似然函數(shù)/損失函數(shù)
-數(shù)學(xué)推導(dǎo)
4、模型優(yōu)化
-迭代樣本的隨機(jī)選擇
-變化的學(xué)習(xí)率
5、邏輯回歸+正則項(xiàng)
6、求解算法與懲罰項(xiàng)的關(guān)系
7、多元邏輯回歸處理
-ovo
-ovr
-優(yōu)缺點(diǎn)比較
8、邏輯回歸建模實(shí)戰(zhàn)
案例:用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)
案例:訂閱者用戶的典型特征(二元邏輯回歸)
案例:通信套餐的用戶畫像(多元邏輯回歸)
四、決策樹算法
1、決策樹簡(jiǎn)介
演練:識(shí)別銀行欠貨風(fēng)險(xiǎn),提取欠貸者的特征
2、決策樹的三個(gè)關(guān)鍵問題
-最優(yōu)屬性選擇
-熵、基尼系數(shù)
-信息增益、信息增益率
-屬性*劃分
-多元?jiǎng)澐峙c二元?jiǎng)澐?/div>
轉(zhuǎn)載:http://szsxbj.com/gkk_detail/265689.html
-連續(xù)變量最優(yōu)劃分
-決策樹修剪
-剪枝原則
-預(yù)剪枝與后剪枝
3、構(gòu)建決策樹的算法
-ID3、C4.5、C5.0
-CART
4、決策樹的超參優(yōu)化
5、決策樹的解讀
6、決策樹建模過程
案例:商場(chǎng)酸奶購(gòu)買用戶特征提取
案例:客戶流失預(yù)警與客戶挽留
案例:識(shí)別拖欠銀行貨款者的特征,避免不良貨款
案例:識(shí)別電信詐騙者嘴臉,讓通信更安全
案例:電力竊漏用戶自動(dòng)識(shí)別
五、神經(jīng)網(wǎng)絡(luò)算法
1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介(ANN)
2、神經(jīng)元基本原理
-加法器
-激活函數(shù)
3、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
-隱藏層數(shù)量
-神經(jīng)元個(gè)數(shù)
4、神經(jīng)網(wǎng)絡(luò)的建立步驟
5、神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
6、BP算法實(shí)現(xiàn)
7、MLP多層神經(jīng)網(wǎng)絡(luò)
8、學(xué)習(xí)率的設(shè)置
案例:評(píng)估銀行用戶拖欠貨款的概率
案例:神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷量
六、線性判別算法
1、判別分析簡(jiǎn)介
2、判別分析算法
-中心和方差
-類間散席Sb
-類內(nèi)散席Sw
3、特征值和特征向量
4、多分類LDA算法
5、算法實(shí)戰(zhàn)
案例:MBA學(xué)生錄取判別分析
案例:上市公司類別評(píng)估
七、最近鄰算法(KNN)
1、KNN的基本原理
2、K近鄰的關(guān)鍵問題
-距離公式
-投票機(jī)制
3、KNN算法實(shí)現(xiàn)
-Brute(蠻力計(jì)算)
-Kd_tree(KD樹)
-Ball_tre(球樹)
4、算法比較
八、貝葉斯算法(NBN)
1、貝葉斯簡(jiǎn)介
2、貝葉斯分類原理
-先驗(yàn)概率和后驗(yàn)概率
-條件概率和類概率
3、常見貝葉斯網(wǎng)絡(luò)
4、計(jì)算類別屬性的條件概率
5、估計(jì)連續(xù)屬性的條件概率
6、預(yù)測(cè)分類概率(計(jì)算概率)
7、拉普拉斯修正
案例:評(píng)估銀行用戶拖欠貨款的概率
九、支持向量機(jī)算法(SVM)
1、支持向量機(jī)簡(jiǎn)介
-適用場(chǎng)景
2、支持向量機(jī)原理
-支持向量
-*邊界超平面
3、線性不可分處理
-松弛系數(shù)
4、非線性SVM分類
5、常用核函數(shù)
-線性核函數(shù)
-多項(xiàng)式核
-高斯RBF核
-核函數(shù)的選擇原則
6、SMO算法
十、模型集成優(yōu)化篇
1、模型的優(yōu)化思想
2、集成模型的框架
-Bagging
-Boosting
-Stacking
3、集成算法的關(guān)鍵過程
-弱分類器如何構(gòu)建
-組合策略:多個(gè)弱學(xué)習(xí)器如何形成強(qiáng)學(xué)習(xí)器
4、Bagging集成算法
-數(shù)據(jù)/屬性重抽樣
-決策依據(jù):少數(shù)服從多數(shù)
-隨機(jī)森林RandomForest
5、Boosting集成算法
-基于誤分?jǐn)?shù)據(jù)建模
-樣本選擇權(quán)重更新
-決策依據(jù):加權(quán)投票
-AdaBoost模型
6、GBDT模型
7、XGBoost模型
8、LightGBM模型
十一、聚類分析(客戶細(xì)分)實(shí)戰(zhàn)
1、聚類基本原理
2、K均值聚類算法
-K均值算法
3、距離計(jì)算公式
-閔可夫斯基距離(Minkowski Distance)
-曼哈頓距離(Manhattan Distance)
-歐氏距離(Euclidean Distance)
-切比雪夫距離(Chebyshev Distance)
-余弦距離(Cosine)
-Pearson相似距離
-馬哈拉諾比斯距離(Mahalanobis)
-漢明距離(Hamming distance)
-杰卡德相似系數(shù)(Jaccard similarity coefficient)
-相對(duì)熵(K-L距離)
4、K均值算法的關(guān)鍵問題
-初始中心的選取方式
-最優(yōu)K值的選取
5、聚類算法的評(píng)價(jià)方法
-Elbow method(手肘法)
-Calinski-Harabasz Index(CH準(zhǔn)則法)
-Silhouette Coefficient(輪廓系數(shù)法)
-Gap Statistic(間隔統(tǒng)計(jì)量法)
-Canopy算法
6、算法實(shí)戰(zhàn)
案例:使用SKLearn實(shí)現(xiàn)K均值聚類
十二、關(guān)聯(lián)規(guī)則算法
1、關(guān)聯(lián)規(guī)則基本原理
2、常用關(guān)聯(lián)規(guī)則算法
-Apriori算法
-發(fā)現(xiàn)頻繁集
-生成關(guān)聯(lián)規(guī)則
-FP-Growth算法
-構(gòu)建FP樹
-提取規(guī)則
3、算法實(shí)戰(zhàn)
案例:使用apriori庫(kù)實(shí)現(xiàn)關(guān)聯(lián)分析
案例:中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
十三、協(xié)同過濾算法
1、協(xié)同過濾基本原理
2、協(xié)同過濾的兩各類型
-基于用戶的協(xié)同過濾UserCF
-基于物品的協(xié)同過濾ItemCF
3、相似度評(píng)估常用公式
4、UserCF算法實(shí)現(xiàn)
-計(jì)算用戶間的興趣相似度
-篩選前K個(gè)相似用戶
-合并相似用戶購(gòu)買過的物品集
-剔除該用戶已經(jīng)購(gòu)買過的產(chǎn)品,得到候選物品集
-計(jì)算該用戶對(duì)物品的喜歡程度,物品集排序
-優(yōu)先推薦前N個(gè)物品
5、ItemCF算法實(shí)現(xiàn)
-計(jì)算物品間的相似度
-篩選前K個(gè)喜歡的物品
-合并與前K個(gè)物品相似的前L個(gè)物品集
-剔除該用戶已經(jīng)購(gòu)買過的物品,得到候選物品集
-計(jì)算該用戶到候選物品的喜愛程度,物品排序
-優(yōu)先推薦前N個(gè)物品
6、關(guān)于冷啟動(dòng)問題
7、協(xié)同過濾算法比較
結(jié)束:課程總結(jié)與問題答疑。
Python機(jī)器學(xué)習(xí)算法
轉(zhuǎn)載:http://szsxbj.com/gkk_detail/265689.html
已開課時(shí)間Have start time
- 傅一航
[僅限會(huì)員]
IT相關(guān)內(nèi)訓(xùn)
- 滲透測(cè)試與攻防實(shí)戰(zhàn)高級(jí)課程 張勝生
- 網(wǎng)安管理崗培訓(xùn) 張勝生
- IT崗位數(shù)智化能力提升路徑 甄文智
- CISSP認(rèn)證培訓(xùn)課程 張勝生
- 信息安全風(fēng)險(xiǎn)評(píng)估與加固技能 張勝生
- 大模型技術(shù)與應(yīng)用培訓(xùn) 葉梓
- 互聯(lián)網(wǎng)新技術(shù)在銀行的應(yīng)用 武威
- 云計(jì)算的應(yīng)用領(lǐng)域和實(shí)踐 武威
- Python高效辦公自動(dòng)化 張曉如
- Fine BI 數(shù)據(jù)分析與 張曉如
- 電力信息化:價(jià)值和建設(shè)分析 劉宇佳
- 軟件安全意識(shí)加強(qiáng)與技能提高 張勝生