大數(shù)據(jù)中數(shù)據(jù)挖掘分析及案例

大數(shù)據(jù)時(shí)代的數(shù)據(jù)挖掘分析及案例（含CRISP-DM方法論）

課程收益：

通過(guò)本次培訓(xùn)中實(shí)際案例的分享，了解數(shù)據(jù)管理和運(yùn)營(yíng)中的各種經(jīng)驗(yàn)教訓(xùn)（別人花費(fèi)上百億學(xué)費(fèi)買來(lái)的經(jīng)驗(yàn)?。。?，深刻理解數(shù)據(jù)運(yùn)營(yíng)的意義，通過(guò)數(shù)據(jù)挖掘技術(shù)，發(fā)掘客戶精細(xì)營(yíng)銷和運(yùn)營(yíng)的價(jià)值，實(shí)現(xiàn)產(chǎn)品設(shè)計(jì)的個(gè)性化需求分析。 通過(guò)本次培訓(xùn)中實(shí)際案例的分享，學(xué)習(xí)數(shù)據(jù)挖掘的基本算法，了解數(shù)據(jù)挖掘的各種方法，深刻理解大數(shù)據(jù)時(shí)代的數(shù)據(jù)價(jià)值，學(xué)習(xí)提升企業(yè)精細(xì)化管理的途徑和案例。學(xué)習(xí)互聯(lián)網(wǎng)思維如何應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域，提升客戶體驗(yàn)，加強(qiáng)產(chǎn)品的個(gè)性化設(shè)計(jì)需求。

課程背景：

2015年，中國(guó)的營(yíng)銷者正面臨著一個(gè)極具挑戰(zhàn)的經(jīng)濟(jì)時(shí)局，然而他們有機(jī)會(huì)通過(guò)撬動(dòng)海量數(shù)據(jù)的杠桿來(lái)獲取巨額收益。

面對(duì)中國(guó)5.13億的互聯(lián)網(wǎng)用戶、多樣化的1.8萬(wàn)億GB數(shù)據(jù)，以及企業(yè)數(shù)據(jù)每年55%的增長(zhǎng)速度，在蓬勃發(fā)展的中國(guó)市場(chǎng)環(huán)境中，大數(shù)據(jù)所帶來(lái)的機(jī)遇前所未有，這將是中國(guó)市場(chǎng)的營(yíng)銷者們預(yù)期取得大回報(bào)的最佳時(shí)機(jī)。營(yíng)銷者必須知道如何透過(guò)數(shù)據(jù)庫(kù)的挖掘與分析，讓手中的數(shù)據(jù)與信息發(fā)揮最大的價(jià)值，通過(guò)有效整合、分析線上和線下數(shù)據(jù)，提高與客戶、潛在客戶互動(dòng)的精準(zhǔn)度，及時(shí)發(fā)現(xiàn)企業(yè)經(jīng)營(yíng)中的各種問(wèn)題和風(fēng)險(xiǎn)。

在制造行業(yè)，通過(guò)ERP、CRM等系統(tǒng)，企業(yè)在產(chǎn)品制造的過(guò)程中也逐步積累了各種形式的大數(shù)據(jù)，如何將這些大數(shù)據(jù)服務(wù)于企業(yè)的生產(chǎn)過(guò)程，提高產(chǎn)品質(zhì)量控制能力，并提升對(duì)客戶服務(wù)質(zhì)量，也是擺在制造企業(yè)面前的一個(gè)緊迫問(wèn)題。

其中手機(jī)制造企業(yè)如何使用數(shù)據(jù)挖掘的方法，深化客戶需求分析，改進(jìn)產(chǎn)品設(shè)計(jì)，提升客戶營(yíng)銷能力，擴(kuò)展市場(chǎng)份額是擺在企業(yè)面前的問(wèn)題。

培訓(xùn)目標(biāo)：

大數(shù)據(jù)時(shí)代下，客戶的重新認(rèn)識(shí)和精細(xì)營(yíng)銷，企業(yè)的精細(xì)化管理，產(chǎn)品質(zhì)量的精準(zhǔn)控制，如何提升企業(yè)的核心競(jìng)爭(zhēng)能力，如何更新企業(yè)運(yùn)營(yíng)的新理念。了解互聯(lián)網(wǎng)時(shí)代帶來(lái)的互聯(lián)網(wǎng)思維，分享互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)分析案例，對(duì)傳統(tǒng)制造產(chǎn)業(yè)帶來(lái)的沖擊分析，探索制造業(yè)大數(shù)據(jù)應(yīng)用場(chǎng)景。了解大數(shù)據(jù)處理的基本技術(shù)，包括數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘、云計(jì)算、數(shù)據(jù)挖掘、元數(shù)據(jù)等基本內(nèi)容。解決數(shù)據(jù)質(zhì)量的方法和經(jīng)驗(yàn)，數(shù)據(jù)管理的組織機(jī)構(gòu)設(shè)置等。

課程內(nèi)容：

一、“大數(shù)據(jù)、大機(jī)會(huì)”：

1.概述

1)大數(shù)據(jù)概念和特點(diǎn)

2)大數(shù)據(jù)需要哪些技術(shù)支撐

3)大數(shù)據(jù)能夠帶來(lái)哪些新應(yīng)用？

2.大數(shù)據(jù)時(shí)代帶來(lái)對(duì)傳統(tǒng)營(yíng)銷的挑戰(zhàn)

1)大數(shù)據(jù)如何成為資產(chǎn)？——GOOGLE的市值遠(yuǎn)超過(guò)制造企業(yè)

2)大數(shù)據(jù)如何體現(xiàn)精細(xì)營(yíng)銷

3)大數(shù)據(jù)的價(jià)值——靠空調(diào)電表判斷氣候趨勢(shì)（“指數(shù)”）

3.大數(shù)據(jù)時(shí)代的“互聯(lián)網(wǎng)思維”營(yíng)銷模式

1) 互聯(lián)網(wǎng)思維——先圈用戶再掙錢

2）互聯(lián)網(wǎng)的營(yíng)銷模式——微博營(yíng)銷、網(wǎng)頁(yè)營(yíng)銷等

3) CRM——“舊貌煥發(fā)新顏”

4)精細(xì)營(yíng)銷——裝上了GPS，實(shí)現(xiàn)“精確打擊”

4.如何在海量數(shù)據(jù)中整合線上、線下數(shù)據(jù)，形成你對(duì)客戶的獨(dú)特洞察力

1)知道客戶的各個(gè)屬性——互聯(lián)網(wǎng)時(shí)代不再“是否是狗”

2)客戶的群體特征——“人以群分”

5.如何建立產(chǎn)品分析的數(shù)據(jù)平臺(tái)，提供產(chǎn)品的“標(biāo)尺”

1)產(chǎn)品的數(shù)據(jù)有哪些？

2)產(chǎn)品設(shè)計(jì)的互聯(lián)網(wǎng)思維？——小米手機(jī)

3)產(chǎn)品的大數(shù)據(jù)分析——哪些維度？

4）如何“產(chǎn)品為中心”發(fā)展為“客戶為中心”？——有數(shù)據(jù)就有可能

6.大數(shù)據(jù)對(duì)企業(yè)的精細(xì)管理提升

1）企業(yè)的精細(xì)管理——不再盲人摸象

2）企業(yè)的KPI儀表板——進(jìn)入駕駛艙

3）預(yù)防企業(yè)的管理風(fēng)險(xiǎn)——早診斷、早發(fā)現(xiàn)

4）員工的量化績(jī)效評(píng)定——計(jì)件之后計(jì)量

7.大數(shù)據(jù)提升企業(yè)的產(chǎn)品質(zhì)量

1）建立量化的產(chǎn)品管理方法——辣椒的辣度評(píng)定

2）產(chǎn)品制造過(guò)程的管理控制——監(jiān)控大數(shù)據(jù)分析

3）產(chǎn)品問(wèn)題的及時(shí)監(jiān)控——溫度、風(fēng)速等異常早發(fā)現(xiàn)

4）產(chǎn)品訂制的范例——好萊塢大片的大數(shù)據(jù)

5）產(chǎn)品質(zhì)量的量化管控——擋板安裝的故事

二、大數(shù)據(jù)的“數(shù)據(jù)挖掘技術(shù)”

1. 數(shù)據(jù)挖掘概述

1）基本概念——“啤酒和尿布的故事”

2）與專家系統(tǒng)、統(tǒng)計(jì)分析、人工智能的關(guān)系——演進(jìn)歷史分析

3）數(shù)據(jù)挖掘在制造行業(yè)的應(yīng)用內(nèi)容——如何體現(xiàn)“智能制造”？

2. CRISP-DM過(guò)程描述

1）商業(yè)理解——要實(shí)現(xiàn)什么“目的”？

2）數(shù)據(jù)的理解以及收集——手里有哪些數(shù)據(jù)？

3）數(shù)據(jù)的準(zhǔn)備——數(shù)據(jù)的清洗及轉(zhuǎn)換

4）應(yīng)用數(shù)據(jù)挖掘工具建立模型——使用哪種數(shù)據(jù)挖掘算法和工具？

5）模型評(píng)估——算法評(píng)估

6）部署（并形成數(shù)據(jù)挖掘報(bào)告）——實(shí)際使用及形成報(bào)告

3. 數(shù)據(jù)挖掘常用算法介紹

預(yù)測(cè)型

1）分類算法

2）回歸分析

3）時(shí)間序列

描述型

4）關(guān)聯(lián)分析

5）序列關(guān)聯(lián)分析

6）聚類分析

4.數(shù)據(jù)挖掘具體算法舉例

1）神經(jīng)網(wǎng)絡(luò)算法

2）決策樹算法

5.根據(jù)實(shí)際問(wèn)題選擇數(shù)據(jù)挖掘算法

1）客戶離網(wǎng)分析

2）客戶分群模型

3）產(chǎn)品關(guān)聯(lián)分析

4）問(wèn)題的描述

需要解決的關(guān)鍵問(wèn)題

如何轉(zhuǎn)換成為數(shù)據(jù)挖掘的描述

數(shù)據(jù)挖掘算法的選擇依據(jù)

預(yù)測(cè)類還是描述類

與各種算法的使用特點(diǎn)結(jié)合

6.分析結(jié)果的檢驗(yàn)

對(duì)照組數(shù)據(jù)的選擇方法

對(duì)照組數(shù)據(jù)的時(shí)間窗口選擇

對(duì)照組數(shù)據(jù)的抽樣

數(shù)據(jù)挖掘模型的修訂

1） 如何剔除無(wú)效的結(jié)果數(shù)據(jù)

2） 根據(jù)反饋結(jié)果進(jìn)行模型修訂

7.數(shù)據(jù)挖掘項(xiàng)目的投入產(chǎn)出

數(shù)據(jù)挖掘項(xiàng)目的投入成本計(jì)算

數(shù)據(jù)挖掘項(xiàng)目的產(chǎn)出計(jì)算依據(jù)

8. 如何形成分析報(bào)告

1）分析報(bào)告的組成部分

2）部分優(yōu)秀的分析報(bào)告演示

9．常用數(shù)據(jù)挖掘工具介紹

1）SAS

2 ) SPSS

三、數(shù)據(jù)挖掘具體案例分析

某電信公司具體數(shù)據(jù)挖掘案例（某產(chǎn)品營(yíng)銷）詳細(xì)舉例

1.商業(yè)理解：提升哪個(gè)KPI指標(biāo)？（ARPU/MOU等）

2.數(shù)據(jù)理解及收集:哪些具體的數(shù)據(jù)（客戶詳單、客戶資料等）

3.數(shù)據(jù)準(zhǔn)備：

1）客戶數(shù)據(jù)質(zhì)量分析

如何保障數(shù)據(jù)質(zhì)量——哪些衡量指標(biāo)

如何發(fā)現(xiàn)異常數(shù)據(jù)——剔除干擾數(shù)據(jù)

2）客戶數(shù)據(jù)抽樣過(guò)程

抽樣比例分析

抽樣的具體方法

3）挖掘應(yīng)用需求描述

如何篩選有用數(shù)據(jù)——選擇相關(guān)變量和匯總數(shù)據(jù)

如何描述需求

4.數(shù)據(jù)挖掘工具建立模型

挖掘算法選擇

如何選擇合適的分析方法

如何剔除無(wú)效的干擾數(shù)據(jù)

選擇關(guān)鍵變量

挖掘具體過(guò)程

結(jié)果數(shù)據(jù)分析

5.模型（算法）評(píng)估

LIFT值等分析

6.實(shí)際部署及分析報(bào)告

實(shí)際分析報(bào)告編寫示例

如何計(jì)算該項(xiàng)目的投入、產(chǎn)出

項(xiàng)目的投入計(jì)算依據(jù)

項(xiàng)目的產(chǎn)出計(jì)算方法

項(xiàng)目的投入/產(chǎn)出結(jié)果

四、基礎(chǔ)數(shù)據(jù)的收集和整理

1、數(shù)據(jù)的種類

1）客戶數(shù)據(jù)內(nèi)容（保險(xiǎn)客戶的基本資料）

2）產(chǎn)品數(shù)據(jù)內(nèi)容（產(chǎn)品的編碼）

3）營(yíng)銷數(shù)據(jù)內(nèi)容（交易記錄的保存）

4）服務(wù)數(shù)據(jù)內(nèi)容（客戶服務(wù)數(shù)據(jù)的保存）

5）制造行業(yè)數(shù)據(jù)的特點(diǎn)：（數(shù)據(jù)類型雜、數(shù)據(jù)量大等）

2、數(shù)據(jù)的存放方法

1）數(shù)據(jù)的清洗、轉(zhuǎn)換和加載

2）存放在數(shù)據(jù)庫(kù)/數(shù)據(jù)倉(cāng)庫(kù)

3）數(shù)據(jù)的基本分析工具EXCEL等

3、數(shù)據(jù)的基本整理

1）數(shù)據(jù)的歸類存放（建模型）

2）數(shù)據(jù)的基本加工

4、數(shù)據(jù)的基礎(chǔ)分析

1）數(shù)據(jù)的基本匯總

2）數(shù)據(jù)中的“金子”：從石頭中淘金子

5、數(shù)據(jù)質(zhì)量的基本保障

1）指標(biāo)的口徑描述和統(tǒng)一

2）后期補(bǔ)數(shù)據(jù)成本是前提收集數(shù)據(jù)成本的15倍

3）“差之毫厘謬以千里”

6、制造業(yè)企業(yè)數(shù)據(jù)的收集和整理

1）制造環(huán)境的數(shù)據(jù)收集/整理

2）采購(gòu)數(shù)據(jù)的收集/整理

3）營(yíng)銷數(shù)據(jù)的收集/整理：

4）人力資源數(shù)據(jù)的收集/整理

示例：某企業(yè)的數(shù)據(jù)收集/整理方案

五、云計(jì)算技術(shù)

1.Hadoop項(xiàng)目簡(jiǎn)介

2.HDFS體系結(jié)構(gòu)

3.HDFS關(guān)鍵運(yùn)行機(jī)制

4.MapReduce產(chǎn)生背景

5.MapReduce編程模型

6.MapReduce實(shí)現(xiàn)機(jī)制

7.MapReduce案例分析

8.HIVE介紹

9.HBASE介紹

六、總結(jié)和展望

主講老師：

段博士　首席講師

專業(yè)背景：

1．北京大學(xué)信息與通信工程專業(yè)　 博士后從事數(shù)據(jù)倉(cāng)庫(kù)方面研究，提出了分級(jí)式數(shù)據(jù)倉(cāng)庫(kù)理論

2．北京郵電大學(xué)電子工程系　 博士從事計(jì)算機(jī)電信集成（CTI）方面研究，是該方向中國(guó)第一個(gè)博士畢業(yè)生，后期從事數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)挖掘等相關(guān)技術(shù)的研究工作。

工作經(jīng)驗(yàn)：

1． 在電信領(lǐng)域積累了十余年的行業(yè)專業(yè)業(yè)務(wù)經(jīng)驗(yàn)，具有市場(chǎng)、技術(shù)的背景，擁有10年的全球最大移動(dòng)運(yùn)營(yíng)商總部的實(shí)際管理工作經(jīng)驗(yàn)；

2． 負(fù)責(zé)主持過(guò)移動(dòng)集團(tuán)國(guó)內(nèi)大型信息系統(tǒng)的系統(tǒng)開發(fā)、運(yùn)維管理，主持建立了世界最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)；

3． 引導(dǎo)了國(guó)內(nèi)電信領(lǐng)域在數(shù)據(jù)倉(cāng)庫(kù)和信息分析領(lǐng)域的業(yè)務(wù)、技術(shù)發(fā)展，帶動(dòng)了相關(guān)產(chǎn)業(yè)的發(fā)展，主持編著了國(guó)內(nèi)電信領(lǐng)域數(shù)據(jù)倉(cāng)庫(kù)的第一本專業(yè)書籍；

4． 99年開始了對(duì)呼叫中心的研究和探討。熟悉呼叫中心領(lǐng)域的相關(guān)技術(shù)和運(yùn)營(yíng)，并具體主持設(shè)計(jì)了大規(guī)模的呼叫中心系統(tǒng)；曾為多家知名企業(yè)提供呼叫中心咨詢服務(wù)，并以顧問(wèn)的身份，參加過(guò)如下較大項(xiàng)目的評(píng)審過(guò)程：

1） 信息產(chǎn)業(yè)部2000年問(wèn)題呼叫中心；

2） 中國(guó)互聯(lián)網(wǎng)信息中心（CNNIC）呼叫中心；

3） 中國(guó)吉通公司北京總部呼叫中心；

4） 首都信息發(fā)展公司的呼叫中心；

5） 中國(guó)移動(dòng)公司呼叫中心改造系統(tǒng)；

同時(shí)，也應(yīng)中國(guó)聯(lián)通公司、國(guó)信公司之邀，進(jìn)行過(guò)有關(guān)的技術(shù)交流活動(dòng)；

業(yè)績(jī)情況

1.段博士主持設(shè)計(jì)并完成了世界上最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)建設(shè)

段博士在中國(guó)移動(dòng)工作期間，創(chuàng)制性地提出了分級(jí)式數(shù)據(jù)倉(cāng)庫(kù)理論，主持設(shè)計(jì)并建設(shè)了中國(guó)移動(dòng)的“經(jīng)營(yíng)分析系統(tǒng)”，前后投資了六十多億，建成了目前國(guó)際最大容量的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。

2.提出的分級(jí)式數(shù)據(jù)倉(cāng)庫(kù)理論：在國(guó)內(nèi)首次系統(tǒng)性地引入了數(shù)據(jù)倉(cāng)庫(kù)的各種業(yè)務(wù)應(yīng)用（報(bào)表/指標(biāo)/OLAP/數(shù)據(jù)挖掘等），建立了系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)質(zhì)量管理體系。并完成了《移動(dòng)通信海量數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建與應(yīng)用研究》的博士后報(bào)告。

3.帶動(dòng)了國(guó)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)業(yè)的發(fā)展：通過(guò)段博士主持和設(shè)計(jì)的最大的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，填補(bǔ)了國(guó)內(nèi)在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域技術(shù)和應(yīng)用的很多空白，帶動(dòng)了國(guó)內(nèi)一批數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的研究力量，對(duì)國(guó)內(nèi)數(shù)據(jù)倉(cāng)庫(kù)行業(yè)的發(fā)展起到了積極的推動(dòng)作用。

4.組織了中國(guó)移動(dòng)在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的隊(duì)伍

帶動(dòng)中國(guó)移動(dòng)的相關(guān)員工，通過(guò)多次的培訓(xùn)，逐步組織了各省公司的數(shù)據(jù)倉(cāng)庫(kù)骨干團(tuán)隊(duì)，對(duì)系統(tǒng)的維護(hù)、新業(yè)務(wù)的開發(fā)和工程項(xiàng)目的管理等方面，積累了寶貴的經(jīng)驗(yàn)。

5.段博士先后在電子工業(yè)出版社出版了《數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及其在電信領(lǐng)域中的應(yīng)用》和《數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)》兩本書籍，并發(fā)表了幾十篇文章。

段方方老師的其它課程