大數(shù)據(jù)環(huán)境下的R數(shù)據(jù)挖掘


大數(shù)據(jù)環(huán)境下的R數(shù)據(jù)挖掘

近年來，由于存儲設備的單位成本以驚人的速度下降（1G硬盤空間的成本現(xiàn)在只需要
幾美分，這在過去難以想象），我們可以輕而易舉地積累起大量的數(shù)據(jù)。電信
運營商，可以記錄用戶通話、短消息、無線上網(wǎng)產生的每一條信令，省級運營商一小時
寫入存儲設備的數(shù)據(jù)量可以達到幾百G。電子商務網(wǎng)站，可以記錄用戶的每一
次交易，甚至每一次點擊，可以復原用戶的完整訪問路徑找出用戶的興趣點。城市監(jiān)控
體系，在各個重要路口，高速公路上的攝像頭，每秒鐘都在產生海量的視頻數(shù)
據(jù)。在生命科學領域，對人體的DNA分析，一個個體就能產生幾個G數(shù)據(jù)，可以想象如果
一個生物信息數(shù)據(jù)庫里包含了成千萬的個體數(shù)據(jù)，信息量將會是怎樣一個
規(guī)模，如此等等，不勝枚舉。我們毫無疑問，正處于一個信息爆炸的時代。

很不幸的是，我們得到了大量的數(shù)據(jù)，而這些數(shù)據(jù)中的絕大部分，在它的生命周期里基
本上都被閑置著，從來沒有考慮過產生任何的價值，唯一的用途就是“保存?zhèn)?br /> 查”。盡管“啤酒與尿布”的故事，已經(jīng)寫入教科書有10多年了，幾乎每一個接受過專業(yè)教
育的同仁都知道數(shù)據(jù)挖掘能產生的價值，但是直到今天，我們對數(shù)據(jù)的
處理依然停留在按預定指標進行統(tǒng)計這種很低的水平上。造成這種情況的原因有很多。
一方面，由于業(yè)務人員和IT人員的工作鴻溝，使到即使能提出數(shù)據(jù)分析的需
求都成了一個很大的困難。在各公司里保管數(shù)據(jù)的大多是IT人員，他們對業(yè)務的了解可
能并非很深入，而業(yè)務人員也鮮有對數(shù)據(jù)有深入認識者，他們通常都缺乏必
要的數(shù)學素質和知識基礎去進行建模和深入的分析工作。另一方面，數(shù)據(jù)分析專家具有
深厚的數(shù)學處理能力，善于建模和構筑算法，但是由于無法得到合適的需求，
他們的能力也無從施展。另外數(shù)學家、統(tǒng)計學家們很多并不熟悉現(xiàn)代的IT軟硬件設備的
特性，對于集群、分布式系統(tǒng)、大規(guī)模存儲、云計算、數(shù)據(jù)庫等認識幾乎為
零，對于算法的實現(xiàn)可能還停留在對著PC寫C語言程序的水平上，對于海量數(shù)據(jù)，無法利
用現(xiàn)代化設備的能力，使到算法是否能真正實現(xiàn)變成生產力存有很大的疑 問。

現(xiàn)在這門《數(shù)據(jù)分析系列網(wǎng)絡課程》正是要打破這種鴻溝。用新興的互聯(lián)網(wǎng)教育模式，把
各應用領域的業(yè)務專家、數(shù)據(jù)分析專家、IT專家推薦給學習者，向有志于
學習數(shù)據(jù)分析知識發(fā)揮數(shù)據(jù)價值的朋友能得到低成本交流的機會。我們的目標是在中國
傳播“技術成就夢想，數(shù)據(jù)產生價值”的觀念，使學習者能快速提升其個人能
力，在新的挑戰(zhàn)面前獲取更多個人機會，企業(yè)能在保存的海量數(shù)據(jù)中煉出黃金。

R是一套完整的數(shù)據(jù)處理、計算和制圖軟件系統(tǒng)。是一個免費的自由軟件，它有UNIX、L
INUX、MacOS和WINDOWS版本，都是可以免費下載和使
用的,在那兒可以下載到R的安裝程序、各種外掛程序和文檔。在R的安裝程序中只包含了
8個基礎模塊，其他外在模塊可以通過CRAN獲得。R既是功能強大的
統(tǒng)計和分析軟件，同時也是完美的數(shù)據(jù)可視化制作工具，豐富的圖形函數(shù)和外置包，幾
乎無限的擴展能力，使到我們的想象空間永遠都不會達到上限

[pic]
2011年統(tǒng)計的數(shù)據(jù)分析軟件使用率情況，R語言多項雄踞首位，是最熱門的分析利器

《R語言數(shù)據(jù)分析、展現(xiàn)與實例》課程介紹如下：
1
基礎數(shù)據(jù)分析知識，包括一些概率統(tǒng)計里的概念、術語，和基本統(tǒng)計量的計算方法等。

2 一些常用的數(shù)據(jù)分析和數(shù)據(jù)挖掘算法，以及有關的各種領域里的實際應用案例分析
3 世界最流行的開源數(shù)據(jù)分析軟件R及其編程方法
4 數(shù)據(jù)展現(xiàn)，介紹R及其強大的圖表功能

課程大綱：
第1課??R語言基礎
R簡介
數(shù)據(jù)類型介紹
R的數(shù)據(jù)可視化
常用R包介紹
R集成開發(fā)環(huán)境

第2課 ?數(shù)據(jù)整理
數(shù)據(jù)的讀入輸出
控制流
各種圖表
常用統(tǒng)計量計算

第3課 數(shù)據(jù)展現(xiàn)1
基本制圖函數(shù)綜述
理解關鍵制圖參數(shù)

第4課 ?數(shù)據(jù)展現(xiàn)2
散點圖
線圖與時間序列譜圖
案例：股價走勢可視化展現(xiàn)

第5課 ?數(shù)據(jù)展現(xiàn)3
柱形圖
點圖
餅圖
直方圖
案例：銷售數(shù)據(jù)可視化展現(xiàn)

第6課 ?數(shù)據(jù)展現(xiàn)4
箱線圖
熱力圖
等高線
地圖
案例：Facebook好友聯(lián)系圖

第7課 ?預知未來的回歸模型1
線性回歸模型
案例：網(wǎng)頁流量預測

第8課 ?預知未來的回歸模型2
logistic回歸
廣義線性回歸
非線性回歸
案例：婚外情頻率預測

第9課 ?預知未來的回歸模型3
回歸檢驗與方差分析
案例：上兩周周案例的進一步分析優(yōu)化

第10課 ?挖掘關聯(lián)和推薦技術
MINE方法
apriori購物籃分析
案例：超市購物籃分析

第11課 ?萬事皆選擇1
分類算法（線性判別法，貝葉斯分類器，決策樹，最近鄰算法）
案例：汽車銷量
走勢預測，上漲還是下跌？

第12課 ?萬事皆選擇2
聚類算法（層次聚類法，譜系圖，k平均值法，k中心法）
案例：推薦系統(tǒng)

第13課 ?大道至簡
降維技術
主成分分析和因子分析
案例：業(yè)績綜合指標設計

第14課 沿著時間軸前進
時間序列分析
案例：未來股價預測

第15課 R數(shù)據(jù)挖掘實際場景綜合案例分析及前沿技術選講

駱飛老師的其它課程