Hadoop 大數(shù)據(jù)解決方案平臺(tái)技術(shù)培訓(xùn)

Hadoop 大數(shù)據(jù)解決方案平臺(tái)技術(shù)培訓(xùn)

【課程目標(biāo)】
Hadoop
作為開源的云計(jì)算平臺(tái)，為大數(shù)據(jù)處理提供了一整套解決方案，應(yīng)用非常廣泛。Hadoop
作為一個(gè)平臺(tái)框架，包括了如何存儲(chǔ)海量數(shù)據(jù)，如何處理海量數(shù)據(jù)，以及相應(yīng)的數(shù)據(jù)庫(kù)
、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)流處理、數(shù)據(jù)分析和挖掘算法庫(kù)，
等等。本課程主要介紹 Hadoop 的思想、原理，以及重要技術(shù)等相關(guān)知識(shí)。
通過本課程的學(xué)習(xí)，達(dá)到如下目的∶ 1、全面了解大數(shù)據(jù)處理技術(shù)的相關(guān)知識(shí)。
2、學(xué)習(xí) Hadoop 的核心技術(shù)以及應(yīng)用。
3、深入掌握 Hadoop 的相關(guān)工具在大數(shù)據(jù)中的使用。 4、掌握 Hadoop
的常用模塊的工作原理及開發(fā)應(yīng)用技術(shù)。
5、掌握傳統(tǒng)數(shù)據(jù)中心向大數(shù)據(jù)中心轉(zhuǎn)換的關(guān)鍵技術(shù)。
6、掌握海量數(shù)據(jù)處理的性能優(yōu)化及維護(hù)技巧。
【授課時(shí)間】
2~5 天時(shí)間
【授課對(duì)象】
網(wǎng)絡(luò)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【授課方式】
原理精講+案例演練+開發(fā)實(shí)踐+系統(tǒng)優(yōu)化
【課程大綱】
第一部分∶Hadoop 的基本框架
1、大數(shù)據(jù)時(shí)代面臨的問題
2、當(dāng)前解決大數(shù)據(jù)的技術(shù)方案
3、Hadoop 架構(gòu)和云計(jì)算
4、Hadoop 簡(jiǎn)史及安裝部署
5、Hadoop 設(shè)計(jì)理念和生態(tài)系統(tǒng)
二部分∶HDFS分布式文件系統(tǒng)∶海量數(shù)據(jù)存儲(chǔ)的搖籃
1、HDFS 的設(shè)計(jì)目標(biāo)
2、HDFS的基本架構(gòu)
> NameNode 名稱節(jié)點(diǎn)
> SecondaryNameNode 第二名稱節(jié)點(diǎn)> DataNode 數(shù)據(jù)節(jié)點(diǎn)
3、HDFS的存儲(chǔ)模型
> 數(shù)據(jù)塊存儲(chǔ)
> 元數(shù)據(jù)存儲(chǔ)（空間鏡像與編輯日志）> 多副本存儲(chǔ)
4、多副本放置策略
多數(shù)據(jù)節(jié)點(diǎn)管理機(jī)制與交互過程
6、文件系統(tǒng)操作與管理
> 讀文件過程
> 寫文件過程（數(shù)據(jù)流管道）
7、數(shù)據(jù)完整性機(jī)制
> 數(shù)據(jù)校驗(yàn)和> 數(shù)據(jù)完整性掃描線程元數(shù)據(jù)備份與合并
8、數(shù)據(jù)可靠性設(shè)計(jì)
> 安全模式（數(shù)據(jù)塊與節(jié)點(diǎn)映射關(guān)系管理）
> 心跳檢測(cè)機(jī)制（節(jié)點(diǎn)失效管理）
> 租約機(jī)制（多線程并發(fā)控制）
9、其它
> HDFS 的安全機(jī)制
> 負(fù)載均衡
> 文件壓縮
10、 操作接口與編程接口
> HDFS ShellHDFS Conmands
> WebHDFS REST API> HDFS Java API演練∶ HDFS 文件操作命令演練∶ HDFS
編程示例
第三部分∶MapReduce分布式計(jì)算系統(tǒng)∶海里數(shù)據(jù)處理的利器
1、MapReduce 的三層設(shè)計(jì)理念
> 分布治 之的設(shè)計(jì)思想（Map 與 Reduce）
> 數(shù)據(jù)處理引擎（編程模型）
> 運(yùn)行時(shí)環(huán)境（任務(wù)調(diào)度與執(zhí)行）
2、MapReduce 的基本架構(gòu)
> JobTracker 作業(yè)跟蹤器
> TaskTracker 任務(wù)跟蹤器
> MapReduce 與 HDFS 的部署關(guān)系
3、MapReduce 編程模型概 述
> 編程接口介紹
> Hadoop 工作流實(shí)現(xiàn)原理
MapReduce 作業(yè)調(diào)度機(jī)制
> MapReduce 作業(yè)生命周期
> 作業(yè)調(diào)度策略靜態(tài)資源管理方案
5、數(shù)據(jù)并行處理機(jī)制（五步驟）
> Input 階段實(shí)現(xiàn)
> Map 階段實(shí)現(xiàn)
> Shuffle 階段實(shí)現(xiàn)
> Reduce 階段實(shí)現(xiàn)
> Output 階段
6、HapReduce 容錯(cuò)機(jī)制
> 任務(wù)失敗與重新嘗試
> 節(jié)點(diǎn)失效與重調(diào)度
> 單點(diǎn)故障
7、MapReduce 性能優(yōu)化
> 優(yōu)化方向與思路
> 磁盤 Io 性能優(yōu)化
> 分片優(yōu)化
> 線程數(shù)量?jī)?yōu)化
> 內(nèi)存優(yōu)化
>壓縮優(yōu)化
8、MapReduce 操作接口
> Job Shell> Web UI
案例演練∶MapRedce 編程示例 g、YARN∶ 下一代通用資源管理系統(tǒng)
> KRv1 的局限性
> YARN 基本框架
> HA 解決單點(diǎn)故障
HDFS Federatiox 解決擴(kuò)展性問題
第四部分∶ Hase非關(guān)系型數(shù)據(jù)庫(kù)∶海里數(shù)據(jù)的黎明
HBase 的使用場(chǎng)景
2、HBase 的基本架構(gòu)
> Zookeeper 分布式協(xié)調(diào)服務(wù)器
> Master 主控服務(wù)器
> Region Server區(qū)域服務(wù)器
3、HBase 的數(shù)據(jù)模型
> Hase 的表結(jié)構(gòu)
> 行鍵、列鍵、時(shí)間戳
4、Hase 的存儲(chǔ)模型
> 基本單位 Region
> 存儲(chǔ)格式HFile
數(shù)據(jù)分裂機(jī)制 Split
數(shù)據(jù)合并機(jī)制Compaction> minor compactionmajor compaction
HLog 寫前日志
8、數(shù)據(jù)庫(kù)讀寫操作
> 數(shù)據(jù)庫(kù)寫入
>數(shù)據(jù)庫(kù)讀取
> 三次尋址
9、Hase 操作接口
Native Java API> HBase Shell
> 批量加載工具
> HiveQL 操作
10、 HBase性能優(yōu)化
> 寫速度優(yōu)化
> 讀速度優(yōu)化
11、 HBase 集群監(jiān)控與管理
案例演練∶Hase 命令操作實(shí)例
> 數(shù)據(jù)庫(kù)寫入
> 數(shù)據(jù)庫(kù)讀取
>三次尋址
9、HBase操作接口
> Native Java APIHBase Shell
> 批量加載工具
> HiveQL 操作
10、 HBase 性能優(yōu)化
>寫速度優(yōu)化
> 讀速度優(yōu)化
11、 HBase 集群監(jiān)控與管理
案例演練∶ HBase 命令操作實(shí)例
第五部分∶Hive分布式數(shù)據(jù)倉(cāng)庫(kù)∶高級(jí)的編程語(yǔ)言
1、Hive是什么
2、Hive與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別
3、Hive系統(tǒng)架構(gòu)
> 用戶接口層
> 元數(shù)據(jù)存儲(chǔ)層
> 驅(qū)動(dòng)層
4、Hive常用服務(wù)
5、Hive元數(shù)據(jù)的三種部署模式
6、Hive的命名空間
7、Hive數(shù)據(jù)類型與存儲(chǔ)格式
> 數(shù)據(jù)類型
> TextFile/SequenceFile/RCFile
Hive的數(shù)據(jù)模型管理表外部表分區(qū)表桶表
HL語(yǔ)言命令實(shí)例
> DDL數(shù)據(jù)定義語(yǔ)言
> DML數(shù)據(jù)操作語(yǔ)言
> QUERY數(shù)據(jù)查詢語(yǔ)言
Hive自定義函數(shù)
> 基本函數(shù)（UDF）
> 聚合函數(shù)（UDAF）
> 表生成函數(shù)（UDTF）
Hive性能優(yōu)化
> 動(dòng)態(tài)分區(qū)
> 壓縮
> 索引
>JVM 重用
案例演練∶ Hive 命令操作實(shí)例
第六部分∶Sqoop數(shù)據(jù)交互工具∶ Hadoop與傳統(tǒng)數(shù)據(jù)庫(kù)的橋梁
Sqoop 是什么
Sqoop 的架構(gòu)和功能
>Sqoop 1 架構(gòu)
> Sqoop2 架構(gòu)
3、數(shù)據(jù)雙向交換
> 數(shù)據(jù)導(dǎo)入過程
>數(shù)據(jù)導(dǎo)出過程
4、數(shù)據(jù)導(dǎo)入工具與命令介紹
案例演練∶ Sqoop 數(shù)據(jù)導(dǎo)入/導(dǎo)出實(shí)際操作
第七部分∶Pig數(shù)據(jù)流處理引擎∶ 數(shù)據(jù)腳本語(yǔ)言
1、Pig 介紹
2、命令行交互工具 Grunt 3、Pig 數(shù)據(jù)類型
4、Pig Latin卻本語(yǔ)言介紹
> 基礎(chǔ)知識(shí)
> 輸入和輸出
>關(guān)系操作
> 調(diào)用靜態(tài) Java函數(shù)
Pig Lati高級(jí)應(yīng)用
6、開發(fā)與測(cè)試Pig Lati腳本
>開發(fā)工具任務(wù)狀態(tài)監(jiān)控
>調(diào)試技巧
7、腳本性能優(yōu)化
8、用戶自定義函數(shù) UDF
案例演練∶ Pig Latin腳本編寫、測(cè)試與運(yùn)行操作
結(jié)束∶課程總結(jié)與問題答疑。

尹傳亮老師的其它課程