 班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實驗設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設(shè)備請點擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結(jié)束后,授課老師留給學員聯(lián)系方式,保障培訓效果,免費提供課后技術(shù)支持。
3、培訓合格學員可享受免費推薦就業(yè)機會。 |
課程大綱 |
day01- spark綜述 spark簡介
spark應(yīng)用場景介紹
spark軟件棧和生態(tài)體系
spark架構(gòu)設(shè)計解析
RDD計算流程解析
spark出色的容錯機制
spark和hadoop、storm等分布式框架之間的比較
spark運行模式及其原理 spark運行模式概述
local模式
standalone模式
local cluster模式
yarn-client/yarn-cluster模式
mesos模式
day01- spark最佳編程語言scala scala介紹
scala基本語法
scala高級函數(shù)
scala集合操作
scala的RPC框架AKKA
day02- spark核心編程模型 RDD基礎(chǔ)，RDD分區(qū)，RDD數(shù)據(jù)本地性...
RDD操作，action，transformation，lazy特性
RDD簡單編程示例
RDD常見的transformation操作示例
RDD常見的action操作示例
spark編程案例——手機用戶日常活動地點分析
spark集群及運行時系統(tǒng)中各角色詳解
day02- spark內(nèi)核深入 spark的任務(wù)調(diào)度基本概念
RDD的Lineage
Cache和checkpoint
寬依賴和窄依賴及Stage的劃分
DAGScheduler，TaskScheduler，task核心機制詳解
spark shuffle機制
shuffle機制性能分析
廣播變量的機制和應(yīng)用
累加器的機制和應(yīng)用
spark作業(yè)提交和接收過程
day03- sparksql sparksql基本概念，架構(gòu)介紹
sparksql與hive等的性能對比
sparksql的使用方式，sql-shell，thriftserver，jdbc
sparksql中核心數(shù)據(jù)結(jié)構(gòu)DataFrame
sparksql應(yīng)用示例，各種查詢例子
sparksql支持的外部數(shù)據(jù)源，hive，parquet，json等
sparksql查詢hbase數(shù)據(jù)，自定義數(shù)據(jù)源，華為工具Astro
day03- spark streaming spark streaming基本概念，架構(gòu)介紹
spark streaming核心數(shù)據(jù)結(jié)構(gòu)Dstream
transformation轉(zhuǎn)換操作，無狀態(tài)轉(zhuǎn)換，有狀態(tài)轉(zhuǎn)換
spark streaming支持的各類輸入源，比如文件，socket，kafka
spark streaming的容錯機制
checkpoint
spark streaming編程案例
spark streaming的性能考量，比如批次和窗口大小，并行度
day04- spark機器學習 機器學習概念介紹
機器學習的應(yīng)用場景
應(yīng)用機器學習的完整流程介紹
spark mllib介紹
spark mllib架構(gòu)解析
MLlib經(jīng)典算法解析和案例：K-Means解析和實戰(zhàn)
day04- spark性能優(yōu)化 spark性能調(diào)優(yōu)總數(shù)
spark調(diào)優(yōu)：內(nèi)存配置相關(guān)
spark調(diào)優(yōu)：GC相關(guān)
spark重要調(diào)優(yōu)參數(shù)總結(jié)
spark在實戰(zhàn)中的遇到過的那些“坑”
spark graphx 圖計算概念介紹
spark graphx架構(gòu)解析
spark graphx編程模型
spark graphx應(yīng)用示例 |
|
|
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業(yè)
