第一部分：  數(shù)據(jù)核心理念—數(shù)據(jù)思維篇

問題：什么是數(shù)據(jù)思維？大數(shù)據(jù)決策的底層邏輯以及決策依據(jù)是什么？

1、 大數(shù)據(jù)的本質

‐  數(shù)據(jù)，是事物發(fā)展和變化過程中留下的痕跡

‐  大數(shù)據(jù)不在于量大，而在于全（多維性）

‐  業(yè)務導向還是技術導向

2、 大數(shù)據(jù)決策的底層邏輯（即四大核心價值）

‐  探索業(yè)務規(guī)律，按規(guī)律來管理決策

案例：客流規(guī)律與排班及最佳營銷時機

案例：致命交通事故發(fā)生的時間規(guī)律

‐  發(fā)現(xiàn)運營變化，定短板來運營決策

案例：考核周期導致的員工月初懈怠

案例：工序信號異常監(jiān)測設備故障

‐  理清要素關系，找影響因素來決策

案例：情緒對于股市漲跌的影響

案例：為何升職反而會增加離職風險？

‐  預測未來趨勢，通過預判進行決策

案例：海爾利用數(shù)據(jù)來預測空調(diào)故障，實現(xiàn)事前檢修

案例：保險公司的車險預測與個性化保費定價

3、 大數(shù)據(jù)決策的三個關鍵環(huán)節(jié)

‐  業(yè)務數(shù)據(jù)化：將業(yè)務問題轉化為數(shù)據(jù)問題

‐  數(shù)據(jù)信息化：提取數(shù)據(jù)中的業(yè)務規(guī)律信息

‐  信息策略化：基于規(guī)律形成業(yè)務應對策略

案例：用數(shù)據(jù)來識別喜歡賺“差價”的營業(yè)員

第二部分：  數(shù)據(jù)分析基礎—流程步驟篇

1、 數(shù)據(jù)分析的六步曲

2、 步驟1：明確目的，確定分析思路

‐  確定分析目的：要解決什么樣的業(yè)務問題

‐  確定分析思路：分解業(yè)務問題，構建分析框架

3、 步驟2：收集數(shù)據(jù)，尋找分析素材

‐  明確數(shù)據(jù)范圍

‐  確定收集來源

‐  確定收集方法

4、 步驟3：整理數(shù)據(jù)，確保數(shù)據(jù)質量

‐  數(shù)據(jù)質量評估

‐  數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理

‐  探索性分析

5、 步驟4：分析數(shù)據(jù)，尋找業(yè)務答案

‐  選擇合適的分析方法

‐  構建合適的分析模型

‐  選擇合適的分析工具

6、 步驟5：呈現(xiàn)數(shù)，解讀業(yè)務規(guī)律

‐  選擇恰當?shù)膱D表

‐  選擇合適的可視化工具

‐  提煉業(yè)務含義

7、 步驟6：撰寫報告，形成業(yè)務策略

‐  選擇報告種類

‐  完整的報告結構

演練：產(chǎn)品精準營銷案例分析

‐  如何搭建精準營銷分析框架

第三部分：  用戶行為分析—統(tǒng)計方法篇

問題：數(shù)據(jù)分析方法的種類？分析方法的不同應用場景？

1、 業(yè)務分析的三個階段

‐  現(xiàn)狀分析：通過企業(yè)運營指標來發(fā)現(xiàn)規(guī)律及短板

‐  原因分析：查找數(shù)據(jù)相關性，探尋目標影響因素

‐  預測分析：合理配置資源，預判業(yè)務未來的趨勢

2、 常用的數(shù)據(jù)分析方法種類

3、 統(tǒng)計分析基礎

4、 基本分析方法及其適用場景

‐  對比分析（查看數(shù)據(jù)差距，發(fā)現(xiàn)事物變化）

演練：分析理財產(chǎn)品受歡迎情況及貢獻大小

演練：用戶消費水平差異分析，提取優(yōu)質客戶特征

‐  分布分析（查看數(shù)據(jù)分布，探索業(yè)務層次）

案例：銀行用戶的消費層次/消費檔次分析

演練：客戶年齡分布/收入分布分析

‐  結構分析（查看指標構成，評估結構合理性）

案例：收入結構分析/成本結構分析

案例：動態(tài)結構分析

‐  趨勢分析（查看變化趨勢，了解季節(jié)周期性）

案例：營業(yè)廳客流量規(guī)律與排班

案例：用戶活躍時間規(guī)律/產(chǎn)品銷量的淡旺季分析

演練：產(chǎn)品訂單的季節(jié)周期性規(guī)律

‐  交叉分析（從多個維度的數(shù)據(jù)指標分析）

演練：不同客戶的產(chǎn)品偏好分析

演練：銀行用戶違約的影響因素分析

第四部分：  用戶行為分析—分析框架篇

問題：如何才能全面/系統(tǒng)地分析而不遺漏？如何分解和細化業(yè)務問題？

1、 分析框架來源于業(yè)務模型

‐  商業(yè)目標（粗粒度）

‐  分析維度/關鍵步驟

‐  業(yè)務問題（細粒度）

‐  涉及數(shù)據(jù)/關鍵指標

2、 常用的業(yè)務模型：PEST/5W2H/SWOT/PDCA/AARRR…

研討：結合公司業(yè)務情況，選取業(yè)務目標，構建系統(tǒng)的數(shù)據(jù)分析框架

第五部分：  用戶風險識別—異常數(shù)據(jù)篇

1、 反欺詐識別的重點內(nèi)容

‐  如何識別異常數(shù)據(jù)

‐  如何查找影響因素

‐  如何提取欺詐用戶的特征

‐  如何預測用戶的欺詐行為

2、 異常數(shù)據(jù)的定義

3、 異常數(shù)據(jù)的檢測方法

‐  基于統(tǒng)計法：標準差法、四分位距法、離群點檢測算法

‐  基于機器學習：回歸、聚類等

4、 異常數(shù)據(jù)處理方法

演練：各種異常數(shù)據(jù)識別

第六部分：              影響因素分析—根因分析篇

問題：如何做原因分析？比如價格是否可用于產(chǎn)品銷量？影響用戶違約的關鍵因素是什么？

1、 數(shù)據(jù)預處理vs特征工程

2、 特征選擇常用方法

‐  相關分析、方差分析、卡方檢驗

3、 相關分析（衡量兩數(shù)據(jù)型變量的線性相關性）

‐  相關分析簡介

‐  相關分析的應用場景

‐  相關分析的種類

◢    簡單相關分析

◢    偏相關分析

◢    距離相關分析

‐  相關系數(shù)的三種計算公式

◢    Pearson相關系數(shù)

◢    Spearman相關系數(shù)

◢    Kendall相關系數(shù)

‐  相關分析的假設檢驗

‐  相關分析的四個基本步驟

演練：營銷費用會影響銷售額嗎？影響程度如何量化？

演練：哪些因素與產(chǎn)品銷量有顯著的相關性

演練：影響用戶消費水平的因素會有哪些

‐  偏相關分析

◢    偏相關原理：排除不可控因素后的兩變量的相關性

◢    偏相關系數(shù)的計算公式

◢    偏相關分析的適用場景

4、 方差分析（衡量類別變量與數(shù)值變量間的相關性）

‐  方差分析的應用場景

‐  方差分析的三個種類

◢    單因素方差分析

◢    多因素方差分析

◢    協(xié)方差分析

‐  單因素方差分析的原理

‐  方差分析的四個步驟

‐  解讀方差分析結果的兩個要點

案例：擺放位置與銷量有關嗎

演練：客戶學歷對消費水平的影響分析

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結果的解讀

案例：廣告形式、地區(qū)對銷售額的影響因素分析

演練：銷售員的性別、技能級別對銷量有影響嗎

‐  協(xié)方差分析原理

‐  協(xié)方差分析的適用場景

演練：排除用戶收入，其余哪些因素對銷量有顯著影響？

5、 列聯(lián)分析/卡方檢驗（兩類別變量的相關性分析）

‐  交叉表與列聯(lián)表：計數(shù)值與期望值

‐  卡方檢驗的原理

‐  卡方檢驗的幾個計算公式

‐  列聯(lián)表分析的適用場景

案例：產(chǎn)品類型對客戶流失的影響分析

案例：用戶學歷對產(chǎn)品類型偏好的影響分析

研討：行業(yè)/規(guī)模對風控的影響分析

第七部分：              數(shù)據(jù)建?；A—流程步驟篇

1、 預測建模六步法

‐  選擇模型：基于業(yè)務選擇恰當?shù)臄?shù)據(jù)模型

‐  特征工程：選擇對目標變量有顯著影響的屬性來建模

‐  訓練模型：采用合適的算法對模型進行訓練，尋找到最優(yōu)參數(shù)

‐  評估模型：進行評估模型的質量，判斷模型是否可用

‐  優(yōu)化模型：如果評估結果不理想，則需要對模型進行優(yōu)化

‐  應用模型：如果評估結果滿足要求，則可應用模型于業(yè)務場景

2、 數(shù)據(jù)挖掘常用的模型

‐  定量預測模型：回歸預測、時序預測等

‐  定性預測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡、支持向量機等

‐  市場細分：聚類、RFM、PCA等

‐  產(chǎn)品推薦：關聯(lián)分析、協(xié)同過濾等

‐  產(chǎn)品優(yōu)化：回歸、隨機效用等

‐  產(chǎn)品定價：定價策略/最優(yōu)定價等

3、 特征工程/特征選擇/變量降維

‐  基于變量本身特征

‐  基于相關性判斷

‐  因子合并（PCA等）

‐  IV值篩選（評分卡使用）

‐  基于信息增益判斷（決策樹使用）

4、 模型評估

‐  模型質量評估指標：R^2、正確率/查全率/查準率/特異性等

‐  預測值評估指標：MAD、MSE/RMSE、MAPE、概率等

‐  模型評估方法：留出法、K拆交叉驗證、自助法等

‐  其它評估：過擬合評估、殘差檢驗

5、 模型優(yōu)化

‐  優(yōu)化模型：選擇新模型/修改模型

‐  優(yōu)化數(shù)據(jù)：新增顯著自變量

‐  優(yōu)化公式：采用新的計算公式

‐  集成思想：Bagging/Boosting/Stacking

6、 常用預測模型介紹：回歸、時序、分類

第八部分：  客戶行為預測—分類模型篇

問題：如何評估客戶購買產(chǎn)品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產(chǎn)品或業(yè)務？

1、 分類模型概述及其應用場景

2、 常見分類預測模型

3、 邏輯回歸（LR）

‐  邏輯回歸的適用場景

‐  邏輯回歸的模型原理

‐  邏輯回歸分類的幾何意義

‐  邏輯回歸的種類：二項、多項

‐  如何解讀邏輯回歸方程

‐  帶分類自變量的邏輯回歸分析

‐  多項邏輯回歸/多分類邏輯回歸

案例：如何評估用戶是否會購買某產(chǎn)品

案例：多品牌選擇模型分析（多項邏輯回歸）

4、 分類決策樹（DT）

問題：如何預測客戶行為？如何識別潛在客戶？

風控：如何識別欠貸者的特征，以及預測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？

‐  決策樹分類簡介

演練：識別銀行欠貨風險，提取欠貸者的特征

‐  決策樹分類的幾何意義

‐  構建決策樹的三個關鍵問題

◢   如何選擇最佳屬性來構建節(jié)點：熵/基尼系數(shù)、信息增益

◢   如何分裂變量：多元/二元劃分、最優(yōu)切割點

◢   修剪決策樹：剪枝原則、預剪枝與后剪枝

‐  構建決策樹的四個算法

‐  如何選擇最優(yōu)分類模型？

案例：商場用戶的典型特征提取

案例：客戶流失預警與客戶挽留

案例：識別拖欠銀行貨款者的特征，避免不良貨款

‐  多分類決策樹

案例：識別不同理財客戶的典型特征，實現(xiàn)精準推薦

‐  決策樹模型的保存與應用

5、 人工神經(jīng)網(wǎng)絡（ANN）

‐  神經(jīng)網(wǎng)絡的結構

‐  神經(jīng)網(wǎng)絡基本原理

‐  神經(jīng)網(wǎng)絡分類的幾何意義

‐  神經(jīng)網(wǎng)絡的建立步驟及實現(xiàn)算法

‐  神經(jīng)網(wǎng)絡的關鍵問題

案例：評估銀行用戶拖欠貨款的概率

6、 支持向量機（SVM）

‐  SVM基本原理

‐  線性可分問題：最大邊界超平面

‐  線性不可分問題：特征空間的轉換

‐  維災難與核函數(shù)

第九部分：  客戶行為預測—模型評估篇

1、模型的評估指標

‐  兩大矩陣：混淆矩陣，代價矩陣

‐  六大指標：Acc,P,R,Spec,F1,lift

‐  三條曲線：

◢   ROC曲線和AUC

◢   PR曲線和BEP

◢   KS曲線和KS值

2、模型的評估方法

‐  留出法（Hold-Out）

‐  交叉驗證法（k-fold cross validation）

‐  自助采樣法（Bootstrapping）

第十部分：  客戶行為預測—集成優(yōu)化篇

1、模型的優(yōu)化思路

2、集成算法基本原理

‐  單獨構建多個弱分類器

‐  多個弱分類器組合投票，決定預測結果

3、集成方法的種類：Bagging、Boosting、Stacking

4、Bagging集成：隨機森林RF

‐  數(shù)據(jù)/屬性重抽樣

‐  決策依據(jù)：少數(shù)服從多數(shù)

5、Boosting集成：AdaBoost模型

‐  基于誤分數(shù)據(jù)建模

‐  樣本選擇權重更新公式

‐  決策依據(jù)：加權投票

6、高級模型介紹與實現(xiàn)

‐  GBDT梯度提升決策樹

‐  XGBoost

‐  LightGBM

第十一部分：        市場細分模型—聚類模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進行市場定位？

1、 市場細分的常用方法

‐  有指導細分

‐  無指導細分

2、 聚類分析

‐  如何更好的了解客戶群體和市場細分？

‐  如何識別客戶群體特征？

‐  如何確定客戶要分成多少適當?shù)念悇e？

‐  聚類方法原理介紹

‐  聚類方法作用及其適用場景

‐  聚類分析的種類

◢    K均值聚類

◢    層次聚類

◢    兩步聚類

‐  K均值聚類（快速聚類）

‐  層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個類別

‐  兩步聚類

演練：劃分合適的客戶群，提取不同客戶群的典型特征

3、 客戶細分與PCA分析法

‐  PCA主成分分析的原理

‐  PCA分析法的適用場景

演練：利用PCA對客戶群進行細分

第十二部分：        銀行客戶信用卡模型

1、 信用評分卡模型簡介

2、 評分卡的關鍵問題

3、 信用評分卡建立過程

‐  篩選重要屬性

‐  數(shù)據(jù)集轉化

‐  建立分類模型

‐  計算屬性分值

‐  確定審批閾值

4、 篩選重要屬性

‐  屬性分段

‐  基本概念：WOE、IV

‐  屬性重要性評估

5、 數(shù)據(jù)集轉化

‐  連續(xù)屬性最優(yōu)分段

‐  計算屬性取值的WOE

6、 建立分類模型

‐  訓練邏輯回歸模型

‐  評估模型

‐  得到字段系數(shù)

7、 計算屬性分值

‐  計算補償與刻度值

‐  計算各字段得分

‐  生成評分卡

8、 確定審批閾值

‐  畫K-S曲線

‐  計算K-S值

‐  獲取最優(yōu)閾值

案例：構建銀行小額貸款的用戶信用模型

第十三部分：        數(shù)據(jù)建模實戰(zhàn)篇

1、電信業(yè)客戶流失預警和客戶挽留模型實戰(zhàn)

2、銀行欠貸風險預測模型實戰(zhàn)

3、銀行信用卡評分模型實戰(zhàn)

結束：課程總結與問題答疑。