大數(shù)據(jù)挖掘工具:SPSS Modeler入門與提高

【課程目標】

本課程面向數(shù)據(jù)分析部等專門負責數(shù)據(jù)分析與挖掘的人士，專注大數(shù)據(jù)挖掘工具SPSS Statistics的培訓。

本課程培訓覆蓋以下內(nèi)容：

1、 數(shù)據(jù)挖掘標準流程。

2、 數(shù)據(jù)挖掘模型原理。

3、 數(shù)據(jù)挖掘方法及應用。

本課程從實際的業(yè)務需求出發(fā)，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術進行了全面的介紹，通過大量的操作演練，幫助學員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、工具，從大量的企業(yè)經(jīng)營數(shù)據(jù)中進行分析，發(fā)現(xiàn)業(yè)務運作規(guī)律，進行客戶洞察，挖掘客戶行為特點，消費行為，實現(xiàn)精準營銷，幫助運營團隊深入理解業(yè)務運作，以達到提升學員的數(shù)據(jù)綜合分析能力，支撐運營決策的目的。

通過本課程的學習，達到如下目的：

1、 了解大數(shù)據(jù)基礎知識，理解大數(shù)據(jù)思維方式。

2、 了解數(shù)據(jù)分析與數(shù)據(jù)挖掘的基本知識（統(tǒng)計、分布、概率等）。

3、 掌握數(shù)據(jù)挖掘的基本過程和步驟，掌握數(shù)據(jù)挖掘的方法。

4、 理解數(shù)據(jù)挖掘的常見模型，原理及適用場景。

5、 熟練掌握Modeler基本操作，能利用Modeler進行數(shù)據(jù)挖掘。

【授課時間】

2~4天時間，或根據(jù)客戶需求選擇

【授課對象】

業(yè)務支撐、網(wǎng)絡中心、IT系統(tǒng)部、數(shù)據(jù)分析部等對業(yè)務數(shù)據(jù)分析有較高要求的相關專業(yè)人員。

【學員要求】

1、 每個學員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好SPSS modeler v14.1版本以上軟件。

注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。

【授課方式】

基礎知識精講 + 案例演練 + 實際業(yè)務問題分析 + 工具實際操作

本課程突出數(shù)據(jù)挖掘的實際應用，結(jié)合行業(yè)的典型應用特點，從實際問題入手，引出相關知識，進行大數(shù)據(jù)的收集與處理；探索數(shù)據(jù)之間的規(guī)律及關聯(lián)性，幫助學員掌握系統(tǒng)的數(shù)據(jù)預處理方法；介紹常用的模型，訓練模型，并優(yōu)化模型，以達到最優(yōu)分析結(jié)果。

【課程大綱】

IBM SPPS Modeler是一個數(shù)據(jù)流處理工具，適用于數(shù)據(jù)探索與數(shù)據(jù)挖掘，包括數(shù)據(jù)預處理、數(shù)據(jù)探索、數(shù)據(jù)可視化、數(shù)據(jù)建模、數(shù)據(jù)模型優(yōu)化。

第一部分： 大數(shù)據(jù)的核心理念

問題：大數(shù)據(jù)的核心價值是什么？大數(shù)據(jù)是怎樣用于業(yè)務決策？

1、 大數(shù)據(jù)時代：你缺的不是一堆方法，而是大數(shù)據(jù)思維

2、 大數(shù)據(jù)是探索事物發(fā)展和變化規(guī)律的工具

3、 一切不以解決業(yè)務問題為導向的大數(shù)據(jù)都是耍流氓

4、 大數(shù)據(jù)的核心能力

? 發(fā)現(xiàn)業(yè)務運行規(guī)律及問題

? 探索業(yè)務未來發(fā)展趨勢

5、 從案例看大數(shù)據(jù)的核心本質(zhì)

? 用趨勢圖來探索產(chǎn)品銷量規(guī)律

? 從谷歌的GFT產(chǎn)品探索用戶需求變化

? 從美國總統(tǒng)競選看大數(shù)據(jù)對選民行為進行分析

? 從大數(shù)據(jù)炒股看大數(shù)據(jù)如何探索因素的相關性

6、 認識大數(shù)據(jù)分析

? 什么是數(shù)據(jù)分析

? 數(shù)據(jù)分析的三大作用

? 常用分析的三大類別

案例：喜歡賺“差價”的營業(yè)員（用數(shù)據(jù)管理來識別）

7、 數(shù)據(jù)分析需要什么樣的能力

? 懂業(yè)務、懂管理、懂分析、懂工具、懂呈現(xiàn)

8、 大數(shù)據(jù)應用系統(tǒng)的四層結(jié)構(gòu)

? 數(shù)據(jù)基礎層、數(shù)據(jù)模型層、業(yè)務模型層、業(yè)務應用層

9、 大數(shù)據(jù)分析的兩大核心理念

10、 大數(shù)據(jù)分析面臨的常見問題

? 不知道分析什么（分析目的不明確）

? 不知道怎樣分析（缺少分析方法）

? 不知道收集什么樣的數(shù)據(jù)（業(yè)務理解不足）

? 不知道下一步怎么做（不了解分析過程）

? 看不懂數(shù)據(jù)表達的意思（數(shù)據(jù)解讀能力差）

? 擔心分析不夠全面（分析思路不系統(tǒng)）

第二部分： 數(shù)據(jù)挖掘標準流程

1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標準流程（CRISP-DM）

? 商業(yè)理解

? 數(shù)據(jù)準備

? 數(shù)據(jù)理解

? 模型建立

? 模型評估

? 模型應用

案例：客戶匹配度建模—找到你的準客戶

案例：客戶流失預測及客戶挽留

3、 數(shù)據(jù)集概述

4、 數(shù)據(jù)集的類型

5、 數(shù)據(jù)集屬性的類型

? 標稱

? 序數(shù)

? 度量

6、 數(shù)據(jù)質(zhì)量三要素

? 準確性

? 完整性

? 一致性

第三部分： 數(shù)據(jù)預處理過程

1、 SPSS工具簡介

2、 數(shù)據(jù)預處理的主要任務

? 數(shù)據(jù)集成：多個數(shù)據(jù)集的合并

? 數(shù)據(jù)清理：異常值的處理

? 數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡

? 變量處理：變量變換、變量派生、變量精簡

? 數(shù)據(jù)歸約：實現(xiàn)降維，避免維災難

3、 數(shù)據(jù)集成

? 外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database

? 數(shù)據(jù)追加（添加數(shù)據(jù)）

? 變量合并（添加變量）

4、 數(shù)據(jù)理解（異常數(shù)據(jù)處理）

? 取值范圍限定

? 重復值處理

? 無效值/錯誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數(shù)據(jù)質(zhì)量評估

5、 數(shù)據(jù)準備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個數(shù)）

? 數(shù)據(jù)平衡：正反樣本比例均衡

6、 數(shù)據(jù)準備：變量處理

? 變量變換：原變量取值更新，比如標準化

? 變量派生：根據(jù)舊變量生成新的變量

? 變量精簡：降維，減少變量個數(shù)

7、 數(shù)據(jù)降維

? 常用降維的方法

? 如何確定變量個數(shù)

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標變量的相關性考慮

2 對輸入變量進行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個數(shù)如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

8、 數(shù)據(jù)探索性分析

? 常用統(tǒng)計指標分析

? 單變量：數(shù)值變量/分類變量

? 雙變量：交叉分析/相關性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

第四部分： 數(shù)據(jù)可視化篇

1、 數(shù)據(jù)可視化的原則

2、 常用可視化工具

3、 常用可視化圖形

? 柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等

4、 圖形的表達及適用場景

演練：各種圖形繪制

第五部分： 影響因素分析篇

問題：如何判斷一個因素對另一個因素有影響？比如營銷費用是否會影響銷售額？產(chǎn)品價格是否會影響銷量？產(chǎn)品的陳列位置是否會影響銷量？

風險控制的關鍵因素有哪些？如何判斷？

1、 影響因素分析的常見方法

2、 相關分析（衡量變量間的的相關性）

問題：這兩個屬性是否會相互影響？影響程度大嗎？營銷費用會影響銷售額嗎？ 

? 什么是相關關系

? 相關系數(shù)：衡量相關程度的指標

? 相關系數(shù)的三個計算公式

? 相關分析的假設檢驗

? 相關分析的基本步驟

? 相關分析應用場景

演練：體重與腰圍的關系

演練：營銷費用會影響銷售額嗎

演練：哪些因素與汽車銷量有相關性

演練：通信費用與開通月數(shù)的相關分析

案例：酒樓生意好壞與報紙銷量的相關分析

? 偏相關分析

? 距離相關分析

3、 方差分析

問題：哪些才是影響銷量的關鍵因素？

? 方差分析解決什么問題

? 方差分析種類：單因素/雙因素可重復/雙因素無重復

? 方差分析的應用場景

? 方差分析的原理與步驟

? 如何解決方差分析結(jié)果

演練：終端擺放位置與終端銷量有關嗎？

演練：開通月數(shù)驛客戶流失的影響分析

演練：客戶學歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關鍵因素嗎

演練：營業(yè)員的性別、技能級別產(chǎn)品銷量有影響嗎？

案例：2015年大學生工資與父母職業(yè)的關系

案例：醫(yī)生洗手與嬰兒存活率的關系

演練：尋找影響產(chǎn)品銷量的關鍵因素

? 多因素方差分析原理

? 多因素方差結(jié)果的解讀

演練：廣告形式、地區(qū)對銷量的影響因素分析（多因素）

? 協(xié)方差分析原理

演練：飼料對生豬體重的影響分析（協(xié)方差分析）

4、 列聯(lián)分析（兩類別變量的相關性分析）

? 交叉表與列聯(lián)表

? 卡方檢驗的原理

? 卡方檢驗的幾個計算公式

? 列聯(lián)表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學歷對業(yè)務套餐偏好的影響分析

案例：行業(yè)/規(guī)模對風控的影響分析

第六部分： 數(shù)值預測模型篇

問題：如何預測產(chǎn)品的銷量/銷售金額？如果產(chǎn)品跟隨季節(jié)性變動，該如何預測？新產(chǎn)品上市，如果評估銷量上限及銷售增速？

1、 銷量預測與市場預測——讓你看得更遠

2、 回歸預測/回歸分析

問題：如何預測未來的銷售量（定量分析）？

? 回歸分析的基本原理和應用場景

? 回歸分析的種類（一元/多元、線性/曲線）

? 得到回歸方程的幾種常用方法

? 回歸分析的五個步驟與結(jié)果解讀

? 回歸預測結(jié)果評估（如何評估預測質(zhì)量，如何選擇最佳回歸模型）

演練：散點圖找推廣費用與銷售額的關系（一元線性回歸）

演練：推廣費用、辦公費用與銷售額的關系（多元線性回歸）

演練：讓你的營銷費用預算更準確

演練：如何選擇最佳的回歸預測模型（曲線回歸）

? 帶分類變量的回歸預測

演練：汽車季度銷量預測

演練：工齡、性別與終端銷量的關系

演練：如何評估銷售目標與資源配置（營業(yè)廳）

3、 時序預測

問題：隨著時間變化，未來的銷量變化趨勢如何？

? 時序分析的應用場景（基于時間的變化規(guī)律）

? 移動平均MA的預測原理

? 指數(shù)平滑ES的預測原理

? 自回歸移動平均ARIMA模型

? 如何評估預測值的準確性？

案例：銷售額的時序預測及評估

演練：汽車銷量預測及評估

演練：電視機銷量預測分析

演練：上海證券交易所綜合指數(shù)收益率序列分析

演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢預測分析

第七部分： 回歸模型優(yōu)化篇

1、 回歸模型的基本原理

? 三個基本概念：總變差、回歸變差、剩余變差

? 方程的顯著性檢驗：是否可以做回歸分析？

? 擬合優(yōu)度檢驗：回歸模型的質(zhì)量評估？

? 因素的顯著性檢驗：自變量是否可用？

? 理解標準誤差的含義：預測的準確性？

2、 模型優(yōu)化思路：尋找最佳回歸擬合線

? 如何處理異常數(shù)據(jù)（殘差與異常值排除）

? 如何剔除非顯著因素（因素顯著性檢驗）

? 如何進行非線性關系檢驗

? 如何進行相互作用檢驗

? 如何進行多重共線性檢驗

? 如何檢驗誤差項

? 如何判斷模型過擬合

案例：模型優(yōu)化案例

第八部分： 分類預測模型篇

問題：如何評估客戶購買產(chǎn)品的可能性？如何預測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產(chǎn)品或業(yè)務？

1、 分類模型概述

2、 常見分類預測模型

3、 邏輯回歸模型

? 邏輯回歸模型原理及適用場景

? 邏輯回歸種類：二元/多元邏輯回歸

? 如何解讀邏輯回歸方程

案例：如何評估用戶是否會購買某產(chǎn)品（二元邏輯）

? 消費者品牌選擇模型分析

案例：品牌選擇模型分析，你的品牌適合哪些人群？（多元邏輯）

4、 分類決策樹

問題：如何預測客戶行為？如何識別潛在客戶？

風控：如何識別欠貸者的特征，以及預測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預測客戶流失概率？

? 決策樹分類簡介

? 如何評估分類性能？

案例：美國零售商（Target）如何預測少女懷孕

演練：識別銀行欠貨風險，提取欠貸者的特征

? 構(gòu)建決策樹的三個關鍵問題

2 如何選擇最佳屬性來構(gòu)建節(jié)點

2 如何分裂變量

2 修剪決策樹

? 選擇最優(yōu)屬性

2 熵、基尼索引、分類錯誤

2 屬性劃分增益

? 如何分裂變量

2 多元劃分與二元劃分

2 連續(xù)變量離散化（最優(yōu)劃分點）

? 修剪決策樹

2 剪枝原則

2 預剪枝與后剪枝

? 構(gòu)建決策樹的四個算法

2 C5.0、CHAID、CART、QUEST

2 各種算法的比較

? 如何選擇最優(yōu)分類模型？

? 案例：商場酸奶購買用戶特征提取

? 案例：電信運營商客戶流失預警與客戶挽留

? 案例：識別拖欠銀行貨款者的特征，避免不良貨款

? 案例：識別電信詐騙者嘴臉，讓通信更安全

5、 人工神經(jīng)網(wǎng)絡（ANN）

? 神經(jīng)網(wǎng)絡概述

? 神經(jīng)網(wǎng)絡基本原理

? 神經(jīng)網(wǎng)絡的結(jié)構(gòu)

? 神經(jīng)網(wǎng)絡的建立步驟

? 神經(jīng)網(wǎng)絡的關鍵問題

? BP反向傳播網(wǎng)絡（MLP）

? 徑向基網(wǎng)絡（RBF）

案例：評估銀行用戶拖欠貨款的概率

6、 支持向量機（SVM）

? SVM基本原理

? 線性可分問題：最大邊界超平面

? 線性不可分問題：特征空間的轉(zhuǎn)換

? 維空難與核函數(shù)

7、 判別分析

? 判別分析原理

? 距離判別法

? 典型判別法

? 貝葉斯判別法

案例：MBA學生錄取判別分析

案例：上市公司類別評估

第九部分： 市場細分模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進行市場定位？

1、 市場細分的常用方法

? 有指導細分

? 無指導細分

2、 聚類分析

? 如何更好的了解客戶群體和市場細分？

? 如何識別客戶群體特征？

? 如何確定客戶要分成多少適當?shù)念悇e？

? 聚類方法原理介紹

? 聚類方法作用及其適用場景

? 聚類分析的種類

? K均值聚類（快速聚類）

案例：移動三大品牌細分市場合適嗎？

演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？

演練：如何評選優(yōu)秀員工？

演練：中國各省份發(fā)達程度分析，讓數(shù)據(jù)自動聚類

? 層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個類別

? R型聚類與Q型聚類的區(qū)別

案例：中移動如何實現(xiàn)客戶細分及營銷策略

演練：中國省市經(jīng)濟發(fā)展情況分析（Q型聚類）

演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）

? 兩步聚類

3、 主成分分析PCA分析

? 主成分分析原理

? 主成分分析基本步驟

? 主成分分析結(jié)果解讀

演練：PCA探索汽車購買者的細分市場

4、 RFM模型客戶細分框架

第十部分： 客戶價值評估

1、 客戶價值評估與RFM模型

問題：如何評估客戶的價值？如何針對不同客戶采取不同的營銷策略？

? RFM模型，更深入了解你的客戶價值

? RFM的客戶細分框架理解

? RFM模型與市場策略

? RFM模型與活躍度

演練：“雙11”淘寶商家如何選擇客戶進行促銷

演練：結(jié)合響應模型，宜家IKE實現(xiàn)最大化營銷利潤

演練：重購用戶特征分析

第十一部分： 產(chǎn)品推薦模型

問題：購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品？應該給客戶推薦什么產(chǎn)品最有可能被接受？

1、 常用產(chǎn)品推薦模型

2、 關聯(lián)分析

? 如何制定套餐，實現(xiàn)交叉/捆綁銷售

案例：啤酒與尿布、颶風與蛋撻

? 關聯(lián)分析模型原理（Association）

? 關聯(lián)規(guī)則的兩個關鍵參數(shù)

2 支持度

2 置信度

? 關聯(lián)分析的適用場景

案例：購物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化

案例：理財產(chǎn)品的交叉銷售與產(chǎn)品推薦

? 如何提取關聯(lián)規(guī)則（關聯(lián)分析的算法）

2 Apriori算法

2 FP-Growth算法

3、 協(xié)同過濾

4、 分類預測模型

結(jié)束：課程總結(jié)與問題答疑。