SPARK高級(jí)課程


Spark培訓(xùn)

課程定位與課程目標(biāo)
Spark是第一個(gè)脫胎于該轉(zhuǎn)變的快速、通用分布式計(jì)算范式。Spark使用函數(shù)式編程范式
擴(kuò)展了MapReduce模型以支持更多計(jì)算類型，可以涵蓋廣泛的工作流，這些工作流之前被
實(shí)現(xiàn)為Hadoop之上的特殊系統(tǒng)。Spark使用內(nèi)存緩存來提升性能，因此進(jìn)行交互式分析也
足夠快速(就如同使用Python解釋器，與集群進(jìn)行交互一樣)。緩存同時(shí)提升了迭代算法
的性能，這使得Spark非常適合數(shù)據(jù)理論任務(wù)，特別是機(jī)器學(xué)習(xí)。

本課程中，我們將首先討論如何在本地機(jī)器上或者EC2的集群上設(shè)置Spark進(jìn)行簡(jiǎn)單分析
。然后，我們?cè)谌腴T級(jí)水平探索Spark，了解Spark是什么以及它如何工作（希望可以激
發(fā)更多探索）。最后兩節(jié)我們開始通過命令行與Spark進(jìn)行交互，然后演示如何用Pytho
n寫Spark應(yīng)用，并作為Spark作業(yè)提交到集群上。



適用學(xué)員：從事無線建設(shè)、無線規(guī)劃、無線覆蓋的工管、網(wǎng)絡(luò)建設(shè)、客戶經(jīng)理等部門員
工
課程設(shè)計(jì)：
|課程編號(hào)： |21090203016 |
|授課課時(shí): |3至5天 |
|授課條件： |學(xué)員必須具有基本的JAVA編程知識(shí) |
|內(nèi)容摘要： | |
| |第一章　Spark大數(shù)據(jù)開放的技術(shù)相關(guān) |
| |1.1　什么是Spark |
| |1.2 Spark與Hadoop的區(qū)別 |
| |1.3 Spark生態(tài) |
| |Spark（內(nèi)存計(jì)算框架） |
| |SparkSteaming（流式計(jì)算框架） |
| |Spark SQL（ad-hoc） |
| |Mllib（Machine Learning） |
| |GraphX（bagel將被取代） |
| |1.4 安裝部署 |
| |Spark安裝簡(jiǎn)介 |
| |Spark的源碼編譯 |
| |Spark Standalone安裝 |
| |Spark Standalone HA安裝 |
| |Spark應(yīng)用程序部署工具spark-submit |
| | |
| |第二章　Spark運(yùn)行架構(gòu)和解析 |
| |2.1 Spark的運(yùn)行架構(gòu) |
| |基本術(shù)語 |
| |運(yùn)行架構(gòu) |
| |Spark on Standalone運(yùn)行過程 |
| |Spark on YARN 運(yùn)行過程 |
| |2.2 Spark運(yùn)行實(shí)例解析 |
| |2.3 Spark on Standalone實(shí)例解析 |
| |2.4 Spark on YARN實(shí)例解析 |
| |小結(jié)　 |
| | |
| |第三章　Spark調(diào)優(yōu) |
| |3.1 Spark生態(tài)系統(tǒng)概述 |
| |? 回顧Hadoop MapReduce |
| |? Spark運(yùn)行模式 |
| |? RDD |
| |? Spark運(yùn)行時(shí)模型簡(jiǎn)介 |
| |? 緩存策略介紹 |
| |? transformation |
| |? action |
| |? lineage |
| |? 容錯(cuò)處理 |
| |? 寬依賴與窄依賴 |
| |? 集群配置 |
| |3.2 Spark的監(jiān)控 |
| |Spark UI監(jiān)控 |
| |Ganglia 監(jiān)控 |
| |3.3 Spark調(diào)優(yōu) |
| | |
| |第四章 Spark編程模型和解析 |
| |4.1 Spark的編程模型 |
| |Spark編程模型解析 |
| |RDD的特點(diǎn)、操作、依賴關(guān)系 |
| |Spark應(yīng)用程序的配置 |
| |4.2 Spark編程實(shí)例解析 |
| |日志的處理 |
| |電信基站數(shù)據(jù)的處理 |
| |4.3 Spark的多語言編程 |
| |Spark的scala編程 |
| |Scala基本語法 |
| |Scala開發(fā)環(huán)境搭建 |
| |Scala開發(fā)Spark應(yīng)用程序 |
| |4.4 Spark的Python編程 |
| |Python的基本語法 |
| |Pyhton開發(fā)Spark應(yīng)用程序 |
| | |
| |第五章　Spark Streaming原理和實(shí)踐 |
| |5.1 Spark Streaming原理 |
| |Spark流式處理架構(gòu) |
| |DStream的特點(diǎn) |
| |Dstream的操作和RDD的區(qū)別 |
| |Spark Streaming的優(yōu)化 |
| |5.2 Spark Streaming實(shí)例 |
| |文本實(shí)例 |
| |Window操作 |
| |網(wǎng)絡(luò)數(shù)據(jù)處理 |
| | |
| |第六章　Spark SQL原理和實(shí)踐 |
| |6.1 Spark SQL原理 |
| |Spark SQL的Catalyst優(yōu)化器 |
| |Spark SQL內(nèi)核 |
| |Spark SQL和Hive |
| |6.2 Spark SQL的實(shí)例和編程 |
| |Spark SQL的實(shí)例操作demo |
| |Spark SQL的編程 |
| | |
| |第七章 Spark源碼研讀 |
| |7.1 Spark源碼研讀 |
| |Spark源碼下載和研讀環(huán)境搭建 |
| |7.2 Spark Core介紹 |
| |SparkContext |
| |Executor |
| |Deploy |
| |7.3 RDD和Storage |
| |7.4 Scheduler和Task |
| |7.5 Spark Examples介紹 |
| | |
| |第八章　應(yīng)用中的數(shù)據(jù)挖掘算法 |
| |8.1 Spark 機(jī)器學(xué)習(xí)入門 |
| |8.2 機(jī)器學(xué)習(xí)的原理 |
| |8.3 Mllib簡(jiǎn)介 |
| |8.4 Mllib的例程分析 |
| | |
| |第九章　大數(shù)據(jù)的zookeeper分布式 |
| |9.1 安裝和配置詳解 |
| |單機(jī)模式 |
| |配置文件介紹 |
| |9.2 BIN目錄介紹及zookeeper的啟動(dòng) |
| |9.3 集群模式 |
| |9.4 分布式隊(duì)列與設(shè)計(jì)思路 |
| | |
| |第十章　應(yīng)用服務(wù)器Jboss hadoop |
| |10.1 服務(wù)器軟硬件配置 |
| |10.2 軟件需求分析 |
| |10.3 Jboss服務(wù)器配置詳解 |
| |10.4 Jboss部署配置文件 |
| |10.5 Jboss實(shí)例 |
|授課語言： |中文 |

駱飛老師的其它課程