云計算hadoop

[pic]
云計算hadoop

課程定位與課程目標

現(xiàn)今企業(yè)數(shù)據(jù)倉庫和關系型數(shù)據(jù)庫擅長處理結構化數(shù)據(jù)，并且可以存儲大量的數(shù)據(jù)。但
成本上有些昂貴。這種對數(shù)據(jù)的要求限制了可處理的數(shù)據(jù)種類，同時這種慣性所帶的缺
點還影響到數(shù)據(jù)倉庫在面對海量異構數(shù)據(jù)時對于敏捷的探索。這通常意味著有價值的數(shù)
據(jù)源在組織內(nèi)從未被挖掘。這就是Hadoop與傳統(tǒng)數(shù)據(jù)處理方式最大的不同。Hadoop帶來
了廉價的處理大數(shù)據(jù)（大數(shù)據(jù)的數(shù)據(jù)容量通常是10-
100GB或更多，同時數(shù)據(jù)種類多種多樣，包括結構化、非結構化等）的能力。
本課程就重點探討云計算與Hadoop系統(tǒng)的組成部分，并解釋各個組成部分的功能。
[pic]
適用學員：從IT行業(yè)和通信行業(yè)的構架師、數(shù)據(jù)分析師、程序員、工程師、產(chǎn)品經(jīng)理
課程設計：
|授課課時: |12學時 |
|授課條件： |學員必須具有基本的計算機知識 |
|內(nèi)容摘要： | |
| |第一講：Hadoop分布式系統(tǒng) |
| |什么是Hadoop |
| |——發(fā)展簡史 |
| |——體系構架 |
| |——廠家支持度與兼容 |
| |為什么要選擇Hadoop |
| |——競爭環(huán)境 |
| |——性能比拼 |
| |Hadoop關鍵詞和術語 |
| | |
| |第二講：Hadoop平臺安裝 |
| |1. 部署條件 |
| |支持平臺 |
| |所需軟件 |
| |安裝軟件 |
| |2. 下載源 |
| |3. 運行Hadoop集群的準備工作 |
| |4. Hadoop單機操作方法 |
| |5. 偽分布式模式的操作 |
| |配置文件 |
| |免密碼Shh設置 |
| |執(zhí)行程序 |
| | |
| |第三講： Hadoop集群搭建與規(guī)劃 |
| |1. Hadoop軟件安裝 |
| |2. Master配置 |
| |3. Slave配置 |
| |4. 初始化和啟動Hadoop集群 |
| |初始文件系統(tǒng) |
| |啟動 Hadoop |
| |停止 Hadoop |
| |5. 測試用例 |
| |6. 管理界面與命令 |
| | |
| |第四講：Hadoop資源調度 |
| |1. HDFS特點與角色 |
| |2. MapReduce介紹 |
| |3. 綜合架構分析 |
| |4. MapReduce應用 |
| | |
| |第五講：Hadoop集群性能評估測試 |
| |1. Hadoop的測試方法 |
| |2. Mapred-site.xml測試結果 |
| |3. 調度算法和壓縮算法 |
| |4. Core-site.xml測試結果 |
| |5. 整體系統(tǒng)測試工具 |
| | |
| |第六講：Hadoop集群監(jiān)控和故障排除 |
| |1. Hadoop的系統(tǒng)監(jiān)控 |
| |2. Hadoop中的命令總結 |
| |3. NameNode與JobTracker單點故障說明 |
| |4. 經(jīng)驗總結 |
| | |
| |第七講：Hadoop運維與管理服務 |
| |1. 解決tasktracker存在，但無法reduce的問題 |
| |2. 解決單個datanode無法啟動的問題 |
| |3. 性能查詢常用命令 |
| |4. 狀態(tài)獲取常用命令 |
| |5. 其它日常問題說明 |
| | |
| |第八講：Hadoop應用案例 |
| |全球最大超市業(yè)者 Wal-Mart |
| |全球最大拍賣網(wǎng)站 eBay |
| |全球最大信用卡公司 Visa |
| |4. 全球最多用戶社交圈Facebook |
| |5. 經(jīng)驗總結 |
|授課語言： |中文 |

駱飛老師的其它課程