大數(shù)據(jù)應(yīng)用培訓(xùn)方案

大數(shù)據(jù)應(yīng)用
培訓(xùn)方案

一、培訓(xùn)的目的及意義

隨著我國智能電網(wǎng)的發(fā)展，電力系統(tǒng)發(fā)、輸、變、配、用電各個環(huán)節(jié)的信息化進程
不斷推進。在用電側(cè)，利用電力大數(shù)據(jù)分析可以了解產(chǎn)業(yè)結(jié)構(gòu)、經(jīng)濟走勢、房屋空置率
、區(qū)域消費能力等情況，從而可以更好地為經(jīng)濟服務(wù)。
　　伴隨著智能電網(wǎng)的全面建設(shè)，以物聯(lián)網(wǎng)和云計算為代表的新一代信息通信技術(shù)在電
力行業(yè)中的廣泛應(yīng)用，電力數(shù)據(jù)資源開始急劇增長并形成了一定的規(guī)模。電力與社會經(jīng)
濟的發(fā)展密切相關(guān)，電力需求變化是經(jīng)濟運行的“晴雨表”和“風向標”，能夠真實、客觀
地反映國民經(jīng)濟的發(fā)展狀況與態(tài)勢。因此，發(fā)展電力大數(shù)據(jù)是電力行業(yè)革新的必然過程
。國家電網(wǎng)公司正在制定以云計算和大數(shù)據(jù)為技術(shù)支撐的信息系統(tǒng)方案，以提高國網(wǎng)公
司信息系統(tǒng)的安全性、穩(wěn)定性、可用性，為公司決策、生產(chǎn)、運營、管理提供更好的支
撐平臺，助力公司發(fā)展方式的轉(zhuǎn)變。

二、培訓(xùn)對象

公司專兼職信息通信運維及管理人員。

三、培訓(xùn)時間

培訓(xùn)共五天



四、培訓(xùn)內(nèi)容

大數(shù)據(jù)（Hadoop）介紹，分布式文件系統(tǒng)應(yīng)用
MapReduce應(yīng)用及調(diào)優(yōu)
hadoop集群及管理
hadoop子項zookeeper、hbase、pig、hive、sqoop、rdbms應(yīng)用
大數(shù)據(jù)實戰(zhàn)

五、課程安排

|日程 |授課主題 |課程安排 |
|第 |Hadoop入門，了解什么|Hadoop產(chǎn)生背景 |
|一 |是hadoop |Hadoop在大數(shù)據(jù)、云計算中的位置和關(guān)系 |
|~ | |國內(nèi)外Hadoop應(yīng)用案例介紹 |
|二 | |國內(nèi)Hadoop的就業(yè)情況分析及課程大綱介紹 |
|天 | |分布式系統(tǒng)概述 |
| | |Hadoop生態(tài)圈以及各組成部分的簡介 |
| | |Hadoop核心MapReduce例子說明 |
| |分布式文件系統(tǒng)HDFS，|分布式文件系統(tǒng)DFS簡介 |
| |是數(shù)據(jù)庫管理員的基礎(chǔ)|HDFS的系統(tǒng)組成介紹 |
| |課程 |HDFS的組成部分詳解 |
| | |副本存放策略及路由規(guī)則 |
| | |NameNode Federation |
| | |命令行接口 |
| | |Java接口 |
| | |客戶端與HDFS的數(shù)據(jù)流講解 |
| | |HDFS的可用性（HA） |
| |初級MapReduce，成為H|如何理解map、reduce計算模型 |
| |adoop開發(fā)人員的基礎(chǔ) |剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程 |
| |課程 |Yarn模型 |
| | |序列化 |
| | |MapReduce的類型與格式 |
| | |MapReduce開發(fā)環(huán)境搭建 |
| | |MapReduce應(yīng)用開發(fā) |
| | |更多示例講解，熟悉MapReduce算法原理 |
| |高級MapReduce，高級H|使用壓縮分隔減少輸入規(guī)模 |
| |adoop開發(fā)人員的關(guān)鍵 |利用Combiner減少中間數(shù)據(jù) |
| |課程 |編寫Partitioner優(yōu)化負載均衡 |
| | |如何自定義排序規(guī)則 |
| | |如何自定義分組規(guī)則 |
|第 | |MapReduce優(yōu)化 |
|三 | |編程實戰(zhàn) |
|~ | | |
|四 | | |
|天 | | |
| |Hadoop集群與管理，是|Hadoop集群的搭建 |
| |數(shù)據(jù)庫管理員的高級課|Hadoop集群的監(jiān)控 |
| |程 |Hadoop集群的管理 |
| | |集群下運行MapReduce程序 |
| |ZooKeeper基礎(chǔ)知識， |ZooKeeper體現(xiàn)結(jié)構(gòu) |
| |構(gòu)建分布式系統(tǒng)的基礎(chǔ)|ZooKeeper集群的安裝 |
| |框架 |操作ZooKeeper |
| |HBase基礎(chǔ)知識，面向 |HBase定義、HBase與RDBMS的對比 |
| |列的實時分布式數(shù)據(jù)庫|數(shù)據(jù)模型、系統(tǒng)架構(gòu) |
| | |HBase上的MapReduce、表的設(shè)計 |
| |HBase集群及其管理 |集群的搭建過程講解 |
| |HBase客戶端 |集群的監(jiān)控 |
| | |集群的管理 |
| | |HBase Shell以及演示 |
| | |Java客戶端以及代碼演示 |
|第 |Pig基礎(chǔ)知識，進行had|Pig概述 |
|五 |oop計算的另一種框架 |安裝Pig |
|天 | |使用Pig完成手機流量統(tǒng)計業(yè)務(wù) |
| |Hive，使用sql進行計 |數(shù)據(jù)倉庫基礎(chǔ)知識 |
| |算的hadoop框架 |Hive定義、Hive體系結(jié)構(gòu)簡介、Hive集群 |
| | |客戶端簡介 |
| | |HiveQL定義、HiveQL與SQL的比較 |
| | |數(shù)據(jù)類型 |
| | |表與表分區(qū)概念、表的操作與CLI客戶端演示 |
| | |數(shù)據(jù)導(dǎo)入與CLI客戶端演示、查詢數(shù)據(jù)與CLI客戶端演示|
| | |數(shù)據(jù)的連接與CLI客戶端演示、用戶自定義函數(shù)（UDF）|
| | |的開發(fā)與演示 |
| |Sqoop，hadoop與rdbms|配置Sqoop |
| |進行數(shù)據(jù)轉(zhuǎn)換的框架 |使用Sqoop把數(shù)據(jù)從mysql導(dǎo)入到HDFS中 |
| | |使用Sqoop把數(shù)據(jù)從HDFS導(dǎo)出到mysql中 |
| |結(jié)訓(xùn)考試 |結(jié)訓(xùn)考試 |

駱飛老師的其它課程