課程描述INTRODUCTION
金融行業(yè)風(fēng)險預(yù)測模型實戰(zhàn)培訓(xùn)
日程安排SCHEDULE
課程大綱Syllabus
金融行業(yè)風(fēng)險預(yù)測模型實戰(zhàn)培訓(xùn)
【課程目標(biāo)】
本課程專注于金融行業(yè)的風(fēng)控模型,面向數(shù)據(jù)分析部等專門負責(zé)數(shù)據(jù)分析與建模的人士。
通過本課程的學(xué)習(xí),達到如下目的:
1、掌握數(shù)據(jù)建模的基本過程和步驟。
2、掌握數(shù)據(jù)建模前的屬性篩選的系統(tǒng)方法,為建模打下基礎(chǔ)。
3、掌握常用的分類預(yù)測模型,包括邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、判別分析等等,以及分類模型的優(yōu)化。
4、掌握金融行業(yè)信用評分卡模型,構(gòu)建信用評分模型。
主要內(nèi)容包括數(shù)據(jù)建模的過程和步驟,以及建模涉及到的分析方法、分析模型,以及模型優(yōu)化等。
本課程突出數(shù)據(jù)挖掘的實際應(yīng)用,結(jié)合行業(yè)的典型應(yīng)用特點,從實際問題入手,引出相關(guān)知識,進行大數(shù)據(jù)的收集與處理;探索數(shù)據(jù)之間的規(guī)律及關(guān)聯(lián)性,幫助學(xué)員掌握系統(tǒng)的數(shù)據(jù)預(yù)處理方法;介紹常用的模型,訓(xùn)練模型,并優(yōu)化模型,以達到最優(yōu)分析結(jié)果。
【授課對象】業(yè)務(wù)支撐、網(wǎng)絡(luò)中心、IT系統(tǒng)部、數(shù)據(jù)分析部等對業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)專業(yè)人員。
【學(xué)員要求】
1、每個學(xué)員自備一臺便攜機(必須)。
2、便攜機中事先安裝好Office Excel 2013版本及以上。
3、便攜機中事先安裝好IBM SPSS Statistics v24版本以上軟件。
注:講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】基礎(chǔ)知識精講 + 案例演練 + 實際業(yè)務(wù)問題分析 + SPSS實際操作
【課程大綱】
第一部分:數(shù)據(jù)建?;具^程
1、預(yù)測建模六步法
.選擇模型:基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
.屬性篩選:選擇對目標(biāo)變量有顯著影響的屬性來建模
.訓(xùn)練模型:采用合適的算法對模型進行訓(xùn)練,尋找到最合適的模型參數(shù)
.評估模型:進行評估模型的質(zhì)量,判斷模型是否可用
.優(yōu)化模型:如果評估結(jié)果不理想,則需要對模型進行優(yōu)化
.應(yīng)用模型:如果評估結(jié)果滿足要求,則可應(yīng)用模型于業(yè)務(wù)場景
2、數(shù)據(jù)挖掘常用的模型
.數(shù)值預(yù)測模型:回歸預(yù)測、時序預(yù)測等
.分類預(yù)測模型:邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機等
.市場細分:聚類、RFM、PCA等
.產(chǎn)品推薦:關(guān)聯(lián)分析、協(xié)同過濾等
.產(chǎn)品優(yōu)化:回歸、隨機效用等
.產(chǎn)品定價:定價策略/最優(yōu)定價等
3、屬性篩選/特征選擇/變量降維
.基于變量本身特征
.基于相關(guān)性判斷
.因子合并(PCA等)
.IV值篩選(評分卡使用)
.基于信息增益判斷(決策樹使用)
4、模型評估
.模型質(zhì)量評估指標(biāo):R^2、正確率/查全率/查準(zhǔn)率/特異性等
.預(yù)測值評估指標(biāo):MAD、MSE/RMSE、MAPE、概率等
.模型評估方法:留出法、K拆交叉驗證、自助法等
.其它評估:過擬合評估
5、模型優(yōu)化
.優(yōu)化模型:選擇新模型/修改模型
.優(yōu)化數(shù)據(jù):新增顯著自變量
.優(yōu)化公式:采用新的計算公式
6、模型實現(xiàn)算法(暫略)
7、好模型是優(yōu)化出來的
案例:通信客戶流失分析及預(yù)警模型
第二部分:屬性篩選方法
問題:如何選擇合適的屬性來進行建模預(yù)測?
比如:價格是否可用于產(chǎn)品銷量的預(yù)測?套餐的合理性是否會影響客戶流失?在欺詐風(fēng)險中有哪些數(shù)據(jù)會有異常表現(xiàn)?
1、屬性篩選/變量降維的常用方法
.基于變量本身特征來選擇屬性
.基于數(shù)據(jù)間的相關(guān)性來選擇屬性
.基于因子合并(如PCA分析)實現(xiàn)變量的合并
.利用IV值篩選
.基于信息增益來選擇屬性
2、相關(guān)分析(衡量變量間的線性相關(guān)性)
問題:這兩個屬性是否會相互影響?影響程度大嗎?
.相關(guān)分析簡介
.相關(guān)分析的三個種類
.簡單相關(guān)分析
.偏相關(guān)分析
.距離相關(guān)分析
.相關(guān)系數(shù)的三種計算公式
.Pearson相關(guān)系數(shù)
.Spearman相關(guān)系數(shù)
.Kendall相關(guān)系數(shù)
.相關(guān)分析的假設(shè)檢驗
.相關(guān)分析的四個基本步驟
演練:年齡和收入的相關(guān)分析
演練:營銷費用會影響銷售額嗎
演練:工作時間與收入有相關(guān)性嗎
演練:話費與網(wǎng)齡的相關(guān)分析
.偏相關(guān)分析
.偏相關(guān)原理:排除不可控因素后的兩變量的相關(guān)性
.偏相關(guān)系數(shù)的計算公式
.偏相關(guān)分析的適用場景
.距離相關(guān)分析
3、方差分析(衡量類別變量與數(shù)據(jù)變量的相關(guān)性)
問題:哪些才是影響銷量的關(guān)鍵因素?
.方差分析的應(yīng)用場景
.方差分析的三個種類
.單因素方差分析
.多因素方差分析
.協(xié)方差分析
.方差分析的原理
.方差分析的四個步驟
.解讀方差分析結(jié)果的兩個要點
演練:用戶收入對銀行欠貸的影響分析
演練:家庭人數(shù)對銀行欠貸的影響分析
演練:年齡大小對欠貸有影響嗎
演練:尋找影響貸款風(fēng)險的關(guān)鍵因素
.多因素方差分析原理
.多因素方差分析的作用
.多因素方差結(jié)果的解讀
演練:廣告形式、地區(qū)對銷量的影響因素分析(多因素)
.協(xié)方差分析原理
.協(xié)方差分析的適用場景
演練:飼料對生豬體重的影響分析(協(xié)方差分析)
4、列聯(lián)分析/卡方檢驗(兩類別變量的相關(guān)性分析)
.交叉表與列聯(lián)表
.卡方檢驗的原理
.卡方檢驗的幾個計算公式
.列聯(lián)表分析的適用場景
演練:不同的信用卡類型會有不同欠貸風(fēng)險嗎
演練:有無住房對欠貸的影響分析
案例:行業(yè)/規(guī)模對風(fēng)控的影響分析
5、相關(guān)性分析各種方法的適用場景
6、主成份分析(PCA)
.因子分析的原理
.因子個數(shù)如何選擇
.如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
第三部分:回歸預(yù)測模型篇
問題:如何預(yù)測產(chǎn)品的銷量/銷售金額?如果產(chǎn)品跟隨季節(jié)性變動,該如何預(yù)測?新產(chǎn)品上市,如果評估銷量上限及銷售增速?
1、常用的數(shù)值預(yù)測模型
.回歸預(yù)測
.時序預(yù)測
2、回歸預(yù)測/回歸分析
問題:如何預(yù)測未來的銷售量(定量分析)?
.回歸分析的基本原理和應(yīng)用場景
.回歸分析的種類(一元/多元、線性/曲線)
.得到回歸方程的四種常用方法
.Excel函數(shù)
.散點圖+趨勢線
.線性回歸工具
.規(guī)范求解
.線性回歸分析的五個步驟
.回歸方程結(jié)果的解讀要點
.評估回歸模型質(zhì)量的常用指標(biāo)
.評估預(yù)測值的準(zhǔn)確度的常用指標(biāo)
演練:散點圖找推廣費用與銷售額的關(guān)系(一元線性回歸)
演練:推廣費用、辦公費用與銷售額的關(guān)系(多元線性回歸)
演練:讓你的營銷費用預(yù)算更準(zhǔn)確
演練:如何選擇*的回歸預(yù)測模型(曲線回歸)
.帶分類變量的回歸預(yù)測
演練:汽車季度銷量預(yù)測
演練:工齡、性別與終端銷量的關(guān)系
演練:如何評估銷售目標(biāo)與資源配置(營業(yè)廳)
3、自動篩選不顯著自變量
第四部分:回歸預(yù)測模型優(yōu)化篇
1、回歸分析的基本原理
.三個基本概念:總變差、回歸變差、剩余變差
.方程的顯著性檢驗:是否可以做回歸分析?
.因素的顯著性檢驗:自變量是否可用?
.擬合優(yōu)度檢驗:回歸模型的質(zhì)量評估?
.理解標(biāo)準(zhǔn)誤差的含義:預(yù)測的準(zhǔn)確性?
2、回歸模型優(yōu)化思路:尋找*回歸擬合線
.如何處理預(yù)測離群值(剔除離群值)
.如何剔除非顯著因素(剔除不顯著因素)
.如何進行非線性關(guān)系檢驗(增加非線性自變量)
.如何進行相互作用檢驗(增加相互作用自變量)
.如何進行多重共線性檢驗(剔除共線性自變量)
.如何檢驗誤差項(修改因變量)
.如何判斷模型過擬合(模型過擬合判斷)
案例:模型優(yōu)化案例
3、規(guī)劃求解工具簡介
4、自定義回歸模型(如何利用規(guī)劃求解進行自定義模型)
案例:如何對餐廳客流量進行建模及模型優(yōu)化
5、好模型都是優(yōu)化出來的
第五部分:分類預(yù)測模型
問題:如何評估客戶購買產(chǎn)品的可能性?或者說,影響客戶購買意向的產(chǎn)品關(guān)鍵特性是什么?
1、分類預(yù)測模型概述
2、常見分類預(yù)測模型
3、評估分類模型的常用指標(biāo)
.正確率、查全率/查準(zhǔn)率、特異性等
4、邏輯回歸分析模型(LR)
問題:如果評估用戶是否購買產(chǎn)品的概率?
.邏輯回歸模型原理及適用場景
.邏輯回歸的種類
.二項邏輯回歸
.多項邏輯回歸
.如何解讀邏輯回歸方程
.帶分類自變量的邏輯回歸分析
.多項邏輯回歸
案例:如何評估用戶是否會有違約風(fēng)險(二項邏輯回歸)
案例:多品牌選擇模型分析(多項邏輯回歸)
5、決策樹分類(DT)
問題:如何提取客戶流失者、拖欠貨款者的特征?如何預(yù)測其流失的概率?
.決策樹分類的原理
.決策樹的三個關(guān)鍵問題
.如何選擇*屬性來構(gòu)建節(jié)點
.如何分裂變量
.如何修剪決策樹
.選擇最優(yōu)屬性
.熵、基尼索引、分類錯誤
.屬性劃分增益
.如何分裂變量
.多元劃分與二元劃分
.連續(xù)變量離散化(最優(yōu)劃分點)
.修剪決策樹
.剪枝原則
.預(yù)剪枝與后剪枝
.構(gòu)建決策樹的四個算法
.C5.0、CHAID、CART、QUEST
.各種算法的比較
.如何選擇最優(yōu)分類模型?
案例:識別銀行欠貨風(fēng)險,提取欠貨者的特征
案例:客戶流失預(yù)警與客戶挽留模型
6、人工神經(jīng)網(wǎng)絡(luò)(ANN)
.神經(jīng)網(wǎng)絡(luò)概述
.神經(jīng)網(wǎng)絡(luò)基本原理
.神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
.神經(jīng)網(wǎng)絡(luò)的建立步驟
.神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
.BP反向傳播網(wǎng)絡(luò)(MLP)
.徑向基網(wǎng)絡(luò)(RBF)
案例:評估銀行用戶拖欠貨款的概率
7、判別分析(DA)
.判別分析原理
.距離判別法
.典型判別法
.貝葉斯判別法
案例:MBA學(xué)生錄取判別分析
案例:上市公司類別評估
8、最近鄰分類(KNN)
.基本原理
.關(guān)鍵問題
9、貝葉斯分類(NBN)
.貝葉斯分類原理
.計算類別屬性的條件概率
.估計連續(xù)屬性的條件概率
.貝葉斯網(wǎng)絡(luò)種類:TAN/馬爾科夫毯
.預(yù)測分類概率(計算概率)
案例:評估銀行用戶拖欠貨款的概率
10、支持向量機(SVM)
.SVM基本原理
.線性可分問題:*邊界超平面
.線性不可分問題:特征空間的轉(zhuǎn)換
.維空難與核函數(shù)
第六部分:分類模型優(yōu)化篇(集成方法)
1、分類模型的優(yōu)化思路:利用弱分類器構(gòu)建強分類模型
2、集成方法的基本原理
.選取多個數(shù)據(jù)集,構(gòu)建多個弱分類器
.多個弱分類器投票決定
3、集成方法/元算法的種類
.Bagging算法
.Boosting算法
4、Bagging原理
.如何選擇數(shù)據(jù)集
.如何進行投票
.隨機森林
5、Boosting的原理
.AdaBoost算法流程
.樣本選擇權(quán)重計算公式
.分類器投票權(quán)重計算公式
第七部分:銀行信用評分卡模型
1、信用評分卡模型簡介
2、評分卡的關(guān)鍵問題
3、信用評分卡建立過程
.篩選重要屬性
.數(shù)據(jù)集轉(zhuǎn)化
.建立分類模型
.計算屬性分值
.確定審批閾值
4、篩選重要屬性
.屬性分段
.基本概念:WOE、IV
.屬性重要性評估
5、數(shù)據(jù)集轉(zhuǎn)化
.連續(xù)屬性最優(yōu)分段
.計算屬性取值的WOE
6、建立分類模型
.訓(xùn)練邏輯回歸模型
.評估模型
.得到字段系數(shù)
7、計算屬性分值
.計算補償與刻度值
.計算各字段得分
.生成評分卡
8、確定審批閾值
.畫K-S曲線
.計算K-S值
.獲取最優(yōu)閾值
案例:構(gòu)建銀行小額貸款的用戶信用模型
第八部分:數(shù)據(jù)預(yù)處理篇(了解你的數(shù)據(jù)集)
1、數(shù)據(jù)預(yù)處理的主要任務(wù)
.數(shù)據(jù)集成:多個數(shù)據(jù)集的合并
.數(shù)據(jù)清理:異常值的處理
.數(shù)據(jù)處理:數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡
.變量處理:變量變換、變量派生、變量精簡
.數(shù)據(jù)歸約:實現(xiàn)降維,避免維災(zāi)難
2、數(shù)據(jù)集成
.外部數(shù)據(jù)讀入:Txt/Excel/SPSS/Database
.數(shù)據(jù)追加(添加數(shù)據(jù))
.變量合并(添加變量)
3、數(shù)據(jù)理解(異常數(shù)據(jù)處理)
.取值范圍限定
.重復(fù)值處理
.無效值/錯誤值處理
.缺失值處理
.離群值/極端值處理
.數(shù)據(jù)質(zhì)量評估
4、數(shù)據(jù)準(zhǔn)備:數(shù)據(jù)處理
.數(shù)據(jù)篩選:數(shù)據(jù)抽樣/選擇(減少樣本數(shù)量)
.數(shù)據(jù)精簡:數(shù)據(jù)分段/離散化(減少變量的取值個數(shù))
.數(shù)據(jù)平衡:正反樣本比例均衡
5、數(shù)據(jù)準(zhǔn)備:變量處理
.變量變換:原變量取值更新,比如標(biāo)準(zhǔn)化
.變量派生:根據(jù)舊變量生成新的變量
.變量精簡:降維,減少變量個數(shù)
6、數(shù)據(jù)降維
.常用降維的方法
.如何確定變量個數(shù)
.特征選擇:選擇重要變量,剔除不重要的變量
.從變量本身考慮
.從輸入變量與目標(biāo)變量的相關(guān)性考慮
.對輸入變量進行合并
.因子分析(主成分分析)
.因子分析的原理
.因子個數(shù)如何選擇
.如何解讀因子含義
案例:提取影響電信客戶流失的主成分分析
7、數(shù)據(jù)探索性分析
.常用統(tǒng)計指標(biāo)分析
.單變量:數(shù)值變量/分類變量
.雙變量:交叉分析/相關(guān)性分析
.多變量:特征選擇、因子分析
演練:描述性分析(頻數(shù)、描述、探索、分類匯總)
8、數(shù)據(jù)可視化
.數(shù)據(jù)可視化:柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
.圖形的表達及適用場景
演練:各種圖形繪制
第九部分:數(shù)據(jù)建模實戰(zhàn)篇
1、電信業(yè)客戶流失預(yù)警和客戶挽留模型實戰(zhàn)
2、銀行欠貸風(fēng)險預(yù)測模型實戰(zhàn)
3、銀行信用卡評分模型實戰(zhàn)
結(jié)束:課程總結(jié)與問題答疑。
金融行業(yè)風(fēng)險預(yù)測模型實戰(zhàn)培訓(xùn)
轉(zhuǎn)載:http://szsxbj.com/gkk_detail/237136.html
已開課時間Have start time
- 傅一航