Hadoop關(guān)鍵技術(shù) Spark內(nèi)存計算框架

  培訓講師：趙衛(wèi)東

講師背景：
新技術(shù)新趨勢專家—趙衛(wèi)東（博士/副教授）【背景介紹】復旦大學軟件學院副教授對外貿(mào)易大學大學MBA班講師江南大學MBA講師SAP大學聯(lián)盟培訓講師【實戰(zhàn)經(jīng)驗】在復旦大學軟件學院,主要研究商務(wù)智能和大數(shù)據(jù)技術(shù)與應(yīng)用。主要負責電子商務(wù)、大數(shù)據(jù)核心技 詳細>>

趙衛(wèi)東
    課程咨詢電話：

Hadoop關(guān)鍵技術(shù) Spark內(nèi)存計算框架詳細內(nèi)容

Hadoop關(guān)鍵技術(shù) Spark內(nèi)存計算框架

Hadoop關(guān)鍵技術(shù)與Spark內(nèi)存計算框架
本課程將介紹目前大數(shù)據(jù)的核心技術(shù)和應(yīng)用實例，并以實踐操作和項目式教學的方式著重講解Hadoop和Spark的基本原理和應(yīng)用。
一、Hadoop關(guān)鍵技術(shù)
學習如何安裝運行各種大數(shù)據(jù)軟件以及如何進行初級編程實踐，包括Hadoop、HDFS、MapReduce等安裝、操作和編程。其中會介紹一些Hadoop的應(yīng)用案例，并通過一些實驗初步了解Hadoop的操作。
第1章　Hadoop概論1.1　緣于搜索的Hadoop1.1.1　Hadoop簡介1.1.2　Hadoop發(fā)展1.2　大數(shù)據(jù)、Hadoop的關(guān)系1.3　Hadoop設(shè)計思想與架構(gòu)1.3.1　數(shù)據(jù)存儲與切分1.3.2　MapReduce模型1.3.3　MPI和MapReduce第2章　Hadoop存儲系統(tǒng)2.1　基本概念2.1.1　NameNode2.1.2　DateNode2.1.3　客戶端2.1.4　塊2.2　HDFS的特性和目標2.2.1　HDFS的特性2.2.2　HDFS的目標2.3　HDFS架構(gòu)2.3.1　Master/Slave架構(gòu)2.3.2　NameNode和Secondary NameNode通信模型2.3.3　文件存取機制2.4　HDFS核心設(shè)計2.5　HDFS權(quán)限管理第3章　HDFS的使用3.1　HDFS環(huán)境準備3.2　HDFS命令的使用3.3　HDFS Java API的使用方法第4章　MapReduce計算框架4.1　Hadoop MapReduce簡介4.2　MapReduce模型4.2.1　MapReduce編程模型4.2.2　MapReduce實現(xiàn)原理
第5章　Hadoop命令系統(tǒng)5.1　Hadoop命令系統(tǒng)的組成5.2　用戶命令
第6章　Hadoop作業(yè)調(diào)度系統(tǒng)6.1　作業(yè)調(diào)度概述6.1.1　相關(guān)概念6.1.2　作業(yè)調(diào)度流程6.1.3　集群資源組織與管理6.1.4　隊列控制和權(quán)限管理6.1.5　插件式調(diào)度框架
第7章　Hadoop集群搭建7.1　Hadoop版本的選擇7.2　集群基礎(chǔ)硬件需求7.3　安裝Hadoop實驗
實驗一：熟悉常用的 Linux 操作和 Hadoop 操作
實驗二：熟悉常用的 HDFS 操作
實驗三：熟悉常用的 HBase 操作
實驗四：NoSQL 和關(guān)系數(shù)據(jù)庫的操作比較
實驗五：MapReduce 初級編程實踐
二、Spark內(nèi)存計算框架
介紹為什么會出現(xiàn)Spark？Spark是什么？Spark能做什么？還有Spark安裝、使用以及編程基礎(chǔ)，并初步了解Spark SQL等核心技術(shù)。其中穿插一些Spark的典型應(yīng)用案例，并通過動手實驗初步體驗Spark的應(yīng)用。
第8章 Spark概述8．3．1 Spark的出現(xiàn)與發(fā)展8．3．2 Spark協(xié)議族8．3．3 Spark的應(yīng)用及優(yōu)勢第9章 Spark原理9．1 Spark工作原理9．2 Spark架構(gòu)及運行機制9．2．1 Spark系統(tǒng)架構(gòu)與節(jié)點角色9．2．2 Spark作業(yè)執(zhí)行過程9．2．3 應(yīng)用初始化9．2．4 構(gòu)建RDD有向無環(huán)圖9．2．5 RDD有向無環(huán)圖拆分
第10章 RDD算子10．1 創(chuàng)建算子10．1．1 基于集合類型數(shù)據(jù)創(chuàng)建RDD10．1．2 基于外部數(shù)據(jù)創(chuàng)建RDD10．2 transformation變換算子10．2．1對Value型RDD進行變換10．2．2對Key/ Value型RDD進行變換10.3 action行動算子10．3．1 數(shù)據(jù)運算類行動算子10．3．2 存儲型行動算子
第11章 安裝和使用Spark11．1 安裝Spark11．2 編寫和運行Spark程序?qū)嶒灒?br /> 實驗1：Linux系統(tǒng)基本命令和Hadoop使用方法
實驗2：RDD基本操作
實驗3：迭代式算法編程實踐
實驗4：自定義分匙、排序、合并
實驗5：利用DataFrame實現(xiàn)數(shù)據(jù)庫的讀寫
實驗 6：利用 Spark Streaming 實現(xiàn)流數(shù)據(jù)處理

 

趙衛(wèi)東老師的其它課程

大數(shù)據(jù)平臺運維管理1.運維監(jiān)控系統(tǒng)的設(shè)計1.1基于ISO/IEC20000和ITILv3理論1.2遵循ITSS、GB/T28827-2012系列運行維護服務(wù)國家標準2.建立集成化的資源運行狀態(tài)監(jiān)控管理系統(tǒng)2.1平臺運行狀態(tài)和信息化資源的統(tǒng)一化、可視化、可控化管理2.2基于資源的統(tǒng)一化管理2.3面向基礎(chǔ)資源和面向業(yè)務(wù)應(yīng)用兩個層面的監(jiān)控3.服務(wù)運行監(jiān)控管理3.1

 講師：趙衛(wèi)東詳情

銀行數(shù)據(jù)應(yīng)用實踐課程大綱培訓天數(shù):3‐4日1.銀行數(shù)據(jù)應(yīng)用的問題?互聯(lián)網(wǎng)金融尤其依賴數(shù)據(jù)??金融業(yè)本身就是基于數(shù)據(jù)與信息的產(chǎn)業(yè)?數(shù)據(jù)分析推動了銀行的轉(zhuǎn)型與創(chuàng)新??未來互聯(lián)網(wǎng)銀行模式??傳統(tǒng)銀行與互聯(lián)網(wǎng)金融的結(jié)合??目前的問題:??數(shù)據(jù)特點與組成???數(shù)量不夠大;維度不夠多???核心數(shù)據(jù)、外圍數(shù)據(jù)、常規(guī)渠道的數(shù)據(jù)、社會化的數(shù)據(jù)等??技術(shù)不足???互聯(lián)網(wǎng)的流行使

 講師：趙衛(wèi)東詳情

智慧營銷   06.03

智慧營銷1.智慧商務(wù)的發(fā)展-智能技術(shù)前沿-認知計算2.新時代的客戶管理2.0-客戶的個性化需求-客戶智能-工業(yè)4.0與C2B商業(yè)模式3.商務(wù)智能與營銷智慧-業(yè)務(wù)分析與優(yōu)化-營銷智能-數(shù)字營銷4.智慧營銷的挑戰(zhàn)-客戶洞察-精準營銷-一對一營銷5.智慧營銷中的數(shù)據(jù)分析技術(shù)-電子推薦技術(shù)-大數(shù)據(jù)技術(shù)-文本挖掘技術(shù)（社會關(guān)系網(wǎng)絡(luò)營銷）-數(shù)據(jù)驅(qū)動的電商客戶分析-IBM

 講師：趙衛(wèi)東詳情

智能機器人   06.03

智能機器人培訓大綱此部分內(nèi)容從人工智能的起源和發(fā)展談起，分析人工智能技術(shù)在智能機器的典型應(yīng)用，并結(jié)合很多具體的應(yīng)用案例，說明智能機器的核心技術(shù)及其應(yīng)用。人工智能和智能機器人工智能的起源與發(fā)展人工智能/機器學習/深度學習認知科學的發(fā)展人工智能的廣泛應(yīng)用無人駕車棋類競技推薦系統(tǒng)自然語言處理圖像識別文本語義處理各類機器人逐步實用化智能機器的興起個人信息助手智慧家居

 講師：趙衛(wèi)東詳情

智能時代：運營商大數(shù)據(jù)之路運營商數(shù)據(jù)概述運營商與傳統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)比較移動大數(shù)據(jù)運營商大數(shù)據(jù)優(yōu)勢運營商開放的數(shù)據(jù)產(chǎn)品征信產(chǎn)品行業(yè)洞察和指數(shù)類產(chǎn)品APP指數(shù)旅游指數(shù)沃信指數(shù)互聯(lián)網(wǎng)廣告與精準營銷運營商客戶分群客戶標簽體系行業(yè)標簽產(chǎn)品運營商目標營銷與電子推薦運營商大數(shù)據(jù)產(chǎn)品解析數(shù)據(jù)源大數(shù)據(jù)基礎(chǔ)平臺架構(gòu)大數(shù)據(jù)應(yīng)用實時用戶行為分析運營商大數(shù)據(jù)可視化運營商大數(shù)據(jù)安全管理運營

 講師：趙衛(wèi)東詳情

智能制造工業(yè)智能大數(shù)據(jù)【課程目標】大數(shù)據(jù)時代已經(jīng)來臨，大數(shù)據(jù)戰(zhàn)略已經(jīng)上升到國家意志，擁有大數(shù)據(jù)的規(guī)模和利用大數(shù)據(jù)的能力已經(jīng)成為國家競爭力的一種體現(xiàn)，大數(shù)據(jù)的重要性已經(jīng)毋庸置疑。本課程圍繞大數(shù)據(jù)產(chǎn)業(yè)，從大數(shù)據(jù)的基本面出發(fā)，到大數(shù)據(jù)應(yīng)用價值；從大數(shù)據(jù)的發(fā)展現(xiàn)狀，到行業(yè)發(fā)展趨勢及大數(shù)據(jù)市場預測；從大數(shù)據(jù)的商業(yè)模式，再到大數(shù)據(jù)的戰(zhàn)略和大數(shù)據(jù)思維。并重點探討了智能制造

 講師：趙衛(wèi)東詳情

解構(gòu)新型產(chǎn)業(yè)推動園區(qū)發(fā)展——人工智能+機器人第一部分未來三年人工智能發(fā)展趨勢與產(chǎn)業(yè)格局1.驅(qū)動人工智能發(fā)展的動因海量數(shù)據(jù)為人工智能發(fā)展提供燃料計算力的提升大幅推動人工智能發(fā)展深度學習突破人工智能算法瓶頸政策利好使人工智能發(fā)展如火如荼2.人工智能產(chǎn)業(yè)鏈構(gòu)成人工智能在各細分領(lǐng)域創(chuàng)業(yè)的熱度自動駕駛領(lǐng)域迎來創(chuàng)業(yè)熱潮產(chǎn)業(yè)鏈的組成：基礎(chǔ)支撐層.技術(shù)應(yīng)用層和方案集成層3.

 講師：趙衛(wèi)東詳情

人工智能（3天）客戶對人工智能的需求：行業(yè)大發(fā)展人工智能的發(fā)展人工智能的內(nèi)涵人工智能的分類人工智能企業(yè)的主要應(yīng)用領(lǐng)域人工智能的行業(yè)發(fā)展分析驅(qū)動人工智能發(fā)展的動因中國制造助理人工智能互聯(lián)網(wǎng)+促進人工智能發(fā)展人工智能發(fā)展規(guī)劃2.技術(shù)框架硬件架構(gòu)：引領(lǐng)場景通用AI時代主流的人工智能開源框架3.圖像處理圖像理解圖像識別圖像分類及檢索（SVM或者CNN）人臉識別技術(shù)及

 講師：趙衛(wèi)東詳情

深度學習   06.03

深度學習深度學習DeepLearning基礎(chǔ)和基本思想1.人工智能概述、計算智能、類腦智能3.機器學習概述、記憶學習、歸納學習、統(tǒng)計學習4.深度學習的前生今世、發(fā)展趨勢5.人工神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、BP算法、Hessian矩陣、結(jié)構(gòu)性特征表示深度學習DeepLearning基本框架結(jié)構(gòu)1.Caffe????????2.Tensorflow3.Torch??

 講師：趙衛(wèi)東詳情

深度學習培訓大綱時間安排課程內(nèi)容第一天上午：機器學習基礎(chǔ)1.1、線性代數(shù)1）矩陣運算2）向量運算3）SVD4）PCA）1.2、概率信息論概論分布2）期望、方差、協(xié)方差3）貝葉斯4）結(jié)構(gòu)概論模型）1.3、數(shù)值優(yōu)化：深度學習基礎(chǔ)2.1、深度學習介紹1）發(fā)展歷史2）主要應(yīng)用2.2、感知器2.3、人工神經(jīng)網(wǎng)絡(luò)2.4、前饋神經(jīng)網(wǎng)絡(luò)2.5、BP算法2.6、Hessian

 講師：趙衛(wèi)東詳情

COPYRIGT @ 2001-2018 HTTP://musicmediasoft.com INC. ALL RIGHTS RESERVED. 管理資源網(wǎng) 版權(quán)所有