大數(shù)據(jù)分析與數(shù)據(jù)挖掘綜合能力提升實(shí)戰(zhàn)

課程收益

1.掌握數(shù)據(jù)建模的標(biāo)準(zhǔn)過程和步驟

2.掌握數(shù)據(jù)建模的特征選擇常用方法，學(xué)會(huì)尋找影響業(yè)務(wù)的關(guān)鍵要素

3.掌握回歸預(yù)測(cè)模型基本原理，學(xué)會(huì)解讀回歸方程的含義

4.理解并掌握定量預(yù)測(cè)模型的評(píng)估指標(biāo)的含義

課程特色

課程內(nèi)容

一、數(shù)據(jù)建模過程——建模步驟篇

1.預(yù)測(cè)建模六步法

1)選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型

2)特征工程：選擇對(duì)目標(biāo)變量有顯著影響的屬性來建模

3)訓(xùn)練模型：采用合適的算法對(duì)模型進(jìn)行訓(xùn)練，尋找到最優(yōu)參數(shù)

4)評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用

5)優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化

6)應(yīng)用模型：如果評(píng)估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景

2.數(shù)據(jù)挖掘常用的模型

1)定量預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等

2)定性預(yù)測(cè)模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等

3)市場(chǎng)細(xì)分：聚類、RFM、PCA等

4)產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等

5)產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等

6)產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等

3.特征工程/特征選擇/變量降維

1)基于變量本身特征

2)基于相關(guān)性判斷

3)因子合并（PCA等）

4)IV值篩選（評(píng)分卡使用）

5)基于信息增益判斷（決策樹使用）

4.模型評(píng)估

1)模型質(zhì)量評(píng)估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等

2)預(yù)測(cè)值評(píng)估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等

3)模型評(píng)估方法：留出法、K拆交叉驗(yàn)證、自助法等

4)其它評(píng)估：過擬合評(píng)估、殘差檢驗(yàn)

5.模型優(yōu)化

1)優(yōu)化模型：選擇新模型/修改模型

2)優(yōu)化數(shù)據(jù)：新增顯著自變量

3)優(yōu)化公式：采用新的計(jì)算公式

4)集成思想：Bagging/Boosting/Stacking

6.常用預(yù)測(cè)模型介紹

1)時(shí)序預(yù)測(cè)模型

2)回歸預(yù)測(cè)模型

3)分類預(yù)測(cè)模型 

 

二、影響因素分析——特征工程篇

1.數(shù)據(jù)預(yù)處理VS特征工程

2.特征選擇常用方法

1)相關(guān)分析、方差分析、卡方檢驗(yàn)

3.相關(guān)分析（衡量?jī)蓴?shù)據(jù)型變量的線性相關(guān)性）

1)相關(guān)分析簡(jiǎn)介

2)相關(guān)分析的應(yīng)用場(chǎng)景

3)相關(guān)分析的種類

①　簡(jiǎn)單相關(guān)分析

②　偏相關(guān)分析

③　距離相關(guān)分析

4)相關(guān)系數(shù)的三種計(jì)算公式

①　Pearson相關(guān)系數(shù)

②　Spearman相關(guān)系數(shù)

③　Kendall相關(guān)系數(shù)

5)相關(guān)分析的假設(shè)檢驗(yàn)

6)相關(guān)分析的四個(gè)基本步驟

①　演練：營(yíng)銷費(fèi)用會(huì)影響銷售額嗎？影響程度如何量化

②　演練：哪些因素與汽車銷量有相關(guān)性

③　演練：影響用戶消費(fèi)水平的因素會(huì)有哪些

7)偏相關(guān)分析

①　偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

②　偏相關(guān)系數(shù)的計(jì)算公式

③　偏相關(guān)分析的適用場(chǎng)景

4.方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）

1)方差分析的應(yīng)用場(chǎng)景

2)方差分析的三個(gè)種類

①　單因素方差分析

②　多因素方差分析

③　協(xié)方差分析

3)單因素方差分析的原理

4)方差分析的四個(gè)步驟

5)解讀方差分析結(jié)果的兩個(gè)要點(diǎn)

①　演練：擺放位置與銷量有關(guān)嗎

②　演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析

③　演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎

④　演練：營(yíng)業(yè)員的性別、技能級(jí)別對(duì)產(chǎn)品銷量有影響嗎

⑤　演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素

6)多因素方差分析原理

7)多因素方差分析的作用

8)多因素方差結(jié)果的解讀

①　演練：廣告形式、地區(qū)對(duì)銷量的影響因素分析

9)協(xié)方差分析原理

10)協(xié)方差分析的適用場(chǎng)景

①　演練：排除產(chǎn)品價(jià)格，收入對(duì)銷量有影響嗎

5.列聯(lián)分析/卡方檢驗(yàn)（兩類別變量的相關(guān)性分析）

1)交叉表與列聯(lián)表：計(jì)數(shù)值與期望值

2)卡方檢驗(yàn)的原理

3)卡方檢驗(yàn)的幾個(gè)計(jì)算公式

4)列聯(lián)表分析的適用場(chǎng)景

①　案例：套餐類型對(duì)客戶流失的影響分析

②　案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析

③　案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析

 

三、定量預(yù)測(cè)模型—回歸模型篇

1.回歸分析簡(jiǎn)介和原理

2.回歸分析的種類

1)一元回歸/多元回歸

2)線性回歸/非線性回歸

3.常用回歸分析方法

1)散點(diǎn)圖+趨勢(shì)線（一元）

2)線性回歸工具（多元線性）

3)規(guī)劃求解工具（非線性回歸）

4)演練：散點(diǎn)圖找營(yíng)銷費(fèi)用與銷售額的關(guān)系

4.線性回歸分析的五個(gè)步驟

1)演練：營(yíng)銷費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（線性回歸）

5.線性回歸方程的解讀技巧

1)定性描述：正相關(guān)/負(fù)相關(guān)

2)定量描述：自變量變化導(dǎo)致因變量的變化程度

6.回歸預(yù)測(cè)模型評(píng)估

1)質(zhì)量評(píng)估指標(biāo)：判定系數(shù)R^2

2)如何選擇最佳回歸模型

3)演練：如何選擇最佳的回歸預(yù)測(cè)模型（一元曲線回歸）

7.帶分類自變量的回歸預(yù)測(cè)

1)演練：汽車季度銷量預(yù)測(cè)

2)演練：工齡、性別與終端銷量的關(guān)系

3)演練：如何評(píng)估銷售目標(biāo)與資源最佳配置

8.自動(dòng)篩選不顯著因素（自變量）

 

四、定量預(yù)測(cè)模型—回歸優(yōu)化篇

1.回歸分析的基本原理

1)三個(gè)基本概念：總變差、回歸變差、剩余變差

2)方程的顯著性檢驗(yàn)：方程可用性

3)因素的顯著性檢驗(yàn)：因素可用性

4)方程擬合優(yōu)度檢驗(yàn)：質(zhì)量好壞程度

5)理解標(biāo)準(zhǔn)誤差含義：預(yù)測(cè)準(zhǔn)確性

2.回歸模型優(yōu)化措施：尋找最佳回歸擬合線

1)如何處理預(yù)測(cè)離群值（剔除離群值）

2)如何剔除不顯著因素（剔除不顯著因素）

3)如何進(jìn)行非線性關(guān)系檢驗(yàn)（增加非線性自變量）

4)如何進(jìn)行相互作用檢驗(yàn)（增加相互作用自變量）

5)如何進(jìn)行多重共線性檢驗(yàn)（剔除共線性自變量）

6)演練：模型優(yōu)化演示

3.好模型都是優(yōu)化出來的

 

五、定量預(yù)測(cè)模型—自定義回歸篇

1.回歸建模的本質(zhì)

2.規(guī)劃求解工具簡(jiǎn)介

3.自定義回歸模型

1)案例：如何對(duì)客流量進(jìn)行建模預(yù)測(cè)及模型優(yōu)化

4.回歸季節(jié)預(yù)測(cè)模型模型

1)回歸季節(jié)模型的原理及應(yīng)用場(chǎng)景

2)加法季節(jié)模型

3)乘法季節(jié)模型

4)模型解讀

5.新產(chǎn)品累計(jì)銷量的S曲線

1)S曲線模型的應(yīng)用場(chǎng)景（最大累計(jì)銷量及銷量增長(zhǎng)的拐點(diǎn)）

2)珀?duì)柷€

3)龔鉑茲曲線

4)案例：如何預(yù)測(cè)產(chǎn)品的銷售增長(zhǎng)拐點(diǎn)，以及銷量上限

5)演練：預(yù)測(cè)IPad產(chǎn)品的銷量

 

六、定量預(yù)測(cè)模型—模型評(píng)估篇

1.定量預(yù)測(cè)模型的評(píng)估

1)方程顯著性評(píng)估

2)因素顯著性評(píng)估

3)擬合優(yōu)度的評(píng)估

4)估計(jì)標(biāo)準(zhǔn)誤差評(píng)估

5)預(yù)測(cè)值準(zhǔn)確度評(píng)估

2.模型擬合度評(píng)估

1)判定系數(shù)：

2)調(diào)整判定系數(shù)：

3.預(yù)測(cè)值準(zhǔn)確度評(píng)估

1)平均絕對(duì)誤差：MAE

2)根均方差：RMSE

3)平均誤差率：MAPE

4.其它評(píng)估：殘差檢驗(yàn)、過擬合檢驗(yàn)

學(xué)員評(píng)價(jià)更多>>

我要點(diǎn)評(píng)>>