11月【北京站】Spark and Hadoop開發(fā)課程

ielilan

培訓(xùn)內(nèi)容
通過講師在課堂上的講解，以及實操練習(xí)，學(xué)員將學(xué)習(xí)以下內(nèi)容：
•  在 Hadoop 機群上進行分布式存儲和處理數(shù)據(jù)。
•  通在 Hadoop 機群上編寫、配置和部署 Apache Spark 應(yīng)用。
•  使用 Spark shell 進行交互式數(shù)據(jù)分析。
•  使用 Spark SQL 查詢處理結(jié)構(gòu)化數(shù)據(jù)。
•  使用 Spark Streaming 處理流式數(shù)據(jù)。
•  使用 Flume 和 Kafka 為 Spark Streaming 采集流式數(shù)據(jù)。

培訓(xùn)對象及學(xué)員基礎(chǔ)
本課程適合于具有編程經(jīng)驗的開發(fā)員及工程師。無需 Apache Hadoop 基礎(chǔ)
•  培訓(xùn)內(nèi)容中對 Apache Spark 的介紹所涉及的代碼及練習(xí)使用 Scala 和 Python，因此需至少掌握這兩個編程語言中的一種。
•  需熟練掌握 Linux 命令行。
•  對 SQL 有基本了解。
建議參加完該課程的學(xué)員考取CCA Spark and Hadoop全球認證證書，證書全球通用。
證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。
時間地點及聯(lián)系方式
北京市海淀區(qū)中關(guān)村創(chuàng)業(yè)大街 11月15-18日
Q1438118790；  TEL4006-01-6012

課程大綱
第一天
Hadoop 及生態(tài)系統(tǒng)介紹
•  Apache Hadoop 概述 •  數(shù)據(jù)存儲和攝取 •  數(shù)據(jù)處理 •  數(shù)據(jù)分析和探索 •  其他生態(tài)系統(tǒng)工具 •  練習(xí)環(huán)境及分析應(yīng)用場景介紹
Apache Hadoop 文件存儲
•  傳統(tǒng)大規(guī)模系統(tǒng)的問題 •  HDFS 體系結(jié)構(gòu) •  使用 HDFS •  Apache Hadoop 文件格式
Apache Hadoop 機群上的數(shù)據(jù)處理
•  YARN 體系結(jié)構(gòu) •  使用 YARN
使用 Apache Sqoop 導(dǎo)入關(guān)系數(shù)據(jù)
•  Sqoop 簡介 •  數(shù)據(jù)導(dǎo)入 •  導(dǎo)入的文件選項 •  數(shù)據(jù)導(dǎo)出
Apache Spark 基礎(chǔ)
•  什么是 Apache Spark •  使用 Spark Shell •  RDDs( 可恢復(fù)的分布式數(shù)據(jù)集） •  Spark 里的函數(shù)式編程


第二天
Spark RDD
•  創(chuàng)建 RDD •  其他一般性 RDD 操作
使用鍵值對 RDD
•  鍵值對 RDD •  MapReduce •  其他鍵值對 RDD 操作
編寫和運行 Apache Spark 應(yīng)用
•  Spark 應(yīng)用對比 Spark Shell •  創(chuàng)建 SparkContext •  創(chuàng)建 Spark 應(yīng)用（Scala 和 Java） •  運行 Spark 應(yīng)用 •  Spark應(yīng)用 WebUI
配置 Apache Spark 應(yīng)用
•  配置 Spark 屬性 •  運行日志
Apache Spark 的并行處理
•  回顧：機群環(huán)境里的 Spark •  RDD 分區(qū) •  基于文件 RDD 的分區(qū) •  HDFS 和本地化數(shù)據(jù) •  執(zhí)行并行操作 •  執(zhí)行階段及任務(wù)
Spark 持久化
•  RDD 演變族譜 •  RDD 持久化簡介 •  分布式持久化


第三天
Apache Spark 數(shù)據(jù)處理的常見模式
•  常見 Spark 應(yīng)用案例 •  迭代式算法 •  機器學(xué)習(xí) •  例子：K － Means
DataFrames 和 Spark SQL
•  Apache Spark SQL 和 SQL Context •  創(chuàng)建 DataFrames •  變更及查詢 DataFrames •  保存 DataFrames •  DataFrames 和 RDD •  Spark SQL 對比 Impala 和Hive-on-Spark •  Spark 2.x 版本上的 Apache Spark SQL
Apache Kafka
•  什么是 Apache Kafka •  Apache Kafka 概述 •  如何擴展 Apache Kafka •  Apache Kafka 機群架構(gòu) •  Apache Kafka 命令行工具
使用 Apache Flume 采集實時數(shù)據(jù)
•  什么是 Apache Flume •  Flume 基本體系結(jié)構(gòu) •  Flume 源 •  Flume 槽 •  Flume 通道 •  Flume 配置


第四天
集成 Apache Flume 和 Apache Kafka
•  概要 •  應(yīng)用案例 •  配置
Apache Spark Streaming：DStreams 介紹
•  Apache Spark Streaming 概述 •  例子：Streaming 訪問計數(shù) •  DStreams •  開發(fā) Streaming 應(yīng)用
Apache Spark Streaming：批處理
•  批處理操作 •  時間分片 •  狀態(tài)操作 •  滑動窗口操作
Apache Spark Streaming：數(shù)據(jù)源
•  Streaming 數(shù)據(jù)源概述 •  Apache Flume 和Apache Kafka 數(shù)據(jù)源 •  例子：使用 Direct 模式連接 Kafka • 數(shù)據(jù)源