400-888-5228

課程簡介

講解hadoop和spark的工作原理和部署方法,測試大數(shù)據(jù)程序的執(zhí)行,對各種任務(wù)和資源進行管理。

 

學員要求

學習了前置課程《Ubuntu Linux系統(tǒng)管理》?或者有Linux系統(tǒng)管理經(jīng)驗,對進程運行環(huán)境、linux磁盤管理、網(wǎng)絡(luò)管理、服務(wù)管理熟悉。

 

培訓時長

3天(21學時)

 

課程收益

  1. 了解Hadoop的歷史及目前發(fā)展的現(xiàn)狀、以及Hadoop的技術(shù)特點,從而把握分布式計算框架及未來發(fā)展方向,在大數(shù)據(jù)時代能為企業(yè)的技術(shù)選型及架構(gòu)設(shè)計提供決策參考。
  2. 全面掌握Hadoop的架構(gòu)原理和使用場景,并通過貫穿課程的項目進行實戰(zhàn)鍛煉,課程還涵蓋了分布式計算領(lǐng)域的常用算法介紹,幫助學員為企業(yè)在利用大數(shù)據(jù)方面體現(xiàn)自身價值。
  3. 深入理解Hadoop技術(shù)架構(gòu),對Hadoop運作機制有清晰全面的認識,可以獨立規(guī)劃及部署生產(chǎn)環(huán)境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優(yōu)化。

培訓對象

  1. 云計算管理員
  2. 大數(shù)據(jù)管理及開發(fā)人員
  3. 項目經(jīng)理
  4. 架構(gòu)師及對spark感興趣人員

 

課程內(nèi)容

單元1:Hortonworks大數(shù)據(jù)平臺和Hadoop 2.0介紹

Lab 1.1:登陸到你的集群

單元2:HDFS架構(gòu)

單元3:安裝 Hadoop

Lab 3.1:設(shè)置你的環(huán)境

Lab 3.2:用Ambari安裝HDP2.0集群

單元4:配置Hadoop

Lab 4.1:添加一個新的節(jié)點到集群

Lab 4.2:停止和啟動HDP 服務(wù)

Lab 4.3:使用HDFS命令

單元5:數(shù)據(jù)完整性檢查

Lab 5.1:用塊掃描和fsck 核查數(shù)據(jù)

單元6:HDFS NFS網(wǎng)關(guān)

Lab 6.1:安裝HDFS 到本地文件系統(tǒng)

單元7:YARN架構(gòu)和MapReduce

Lab 7.1:MapReduce 任務(wù)的故障處理

單元8:任務(wù)調(diào)度

Lab 8.1:配置容量調(diào)度

單元9:企業(yè)數(shù)據(jù)運行

Lab 9.1:用distcp 從遠程集群復制數(shù)據(jù)

單元10:HDFS Web服務(wù)

Lab 10.1:使用Web HDFS

單元11:Hive管理

Lab11.1:Understanding HiveTables

單元12:Sqoop數(shù)據(jù)轉(zhuǎn)移

Lab12.1:Using Sqoop

單元13:Flume

Lab13.1:Install and TestFlume

單元14:Oozie

Lab14.1:Running an OozieWorkflow

單元15:監(jiān)控HDP2服務(wù)

單元16:增加及刪除節(jié)點

Lab16.1:Commissioning &Decommissioning DataNodes

單元17:備份和恢復

Lab17.1:Using HDFS、Snapshots

單元18:機架感知

Lab18.1:Configuring RackAwareness

單元19:NameNode HA

Lab19.1:ImplementingNameNode HA

單元20:HDP的安全訪問控制

Lab20.1:Securing aHDPCluster