 班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(滬西)/新城金郡商務樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學成教院 【北京分部】：北京中山學院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學/六宅臻品 【鄭州分部】：鄭州大學/錦華大廈 【石家莊分部】：河北科技大學/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實驗設備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學員免費推薦工作
★實驗設備請點擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓班中重聽；
2、培訓結束后,授課老師留給學員聯(lián)系方式,保障培訓效果,免費提供課后技術支持。
3、培訓合格學員可享受免費推薦就業(yè)機會。 |
課程大綱 |
一、 課程背景概述
大數(shù)據(jù)分析處理平臺技術已經(jīng)給新興互聯(lián)網(wǎng)企業(yè)（如電子商務網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務提供商等）、銀行金融證券企業(yè)、電信運營商行業(yè)、高端裝備制造企業(yè)、IT基礎設施提供商等帶來了巨大的商業(yè)機遇，大數(shù)據(jù)平臺在整個企業(yè)的價值增值鏈中發(fā)揮著至關重要的決定性作用。互聯(lián)網(wǎng)+大數(shù)據(jù)時代的到來，一方面為企業(yè)帶來了潛在的巨大發(fā)展機遇，能有效推動企業(yè)的信息化轉(zhuǎn)型升級和科學決策分析；另一方面由于企業(yè)缺乏大數(shù)據(jù)技術專業(yè)人才和大數(shù)據(jù)平臺建設實施經(jīng)驗，對企業(yè)實行大數(shù)據(jù)發(fā)展戰(zhàn)略也帶來了較大的挑戰(zhàn)。本次課程帶大家領略大數(shù)據(jù)分析應用技術的魅力和廣闊前景，系統(tǒng)地講解基于Hadoop和Spark處理平臺的大數(shù)據(jù)分析算法，以及分布式并行分析處理技術的應用實踐，業(yè)界主流的大數(shù)據(jù)分析處理平臺、核心組件、關鍵技術、平臺架構、大數(shù)據(jù)分析應用解決方案以及案例集錦。結合業(yè)界使用最廣泛的主流大數(shù)據(jù)平臺技術，重點剖析基于Hadoop和Spark大數(shù)據(jù)技術生態(tài)圈的大數(shù)據(jù)分析處理技術，大型數(shù)據(jù)倉庫平臺（HIVE）的技術架構和分析應用、大數(shù)據(jù)分析挖掘處理平臺（Mahout，MLib）的分析算法應用與實戰(zhàn)，基于ELK架構的大規(guī)模日志數(shù)據(jù)的分析處理以及用戶行為分析處理和電商數(shù)據(jù)挖掘推薦系統(tǒng)項目應用案例。
通過本次課程培訓讓學員掌握基于主流的Hadoop與Spark大數(shù)據(jù)平臺的數(shù)據(jù)分析技術，以及大數(shù)據(jù)分析項目的有效實施，培訓過程中穿插著已經(jīng)落地的成功大數(shù)據(jù)分析項目實施應用案例，分享互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)分析應用的項目經(jīng)驗，讓學員掌握如何構建可行的大數(shù)據(jù)分析挖掘處理平臺解決方案。
二、 授課人群
1. 集團企業(yè)大數(shù)據(jù)處理平臺技術架構師
2. 集團企業(yè)大數(shù)據(jù)分析項目工程師
3. 集團企業(yè)數(shù)據(jù)倉庫工程師
三、 培訓目標
本課程通過培訓使學習者達到如下目標：
1. 本課程讓學員充分掌握大數(shù)據(jù)分析處理平臺技術架構、業(yè)界常用的大數(shù)據(jù)分析挖掘算法、大數(shù)據(jù)分析應用實戰(zhàn)技能、國內(nèi)外主流的大數(shù)據(jù)分析處理技術在不同行業(yè)的解決方案，并以銀行金融業(yè)、電商行業(yè)、互聯(lián)網(wǎng)精準營銷行業(yè)的為例子闡述大數(shù)據(jù)分析算法及其技術平臺的實際應用案例，以及對比剖析主流的大數(shù)據(jù)分析產(chǎn)品。
2. 讓學員掌握基于主流的大數(shù)據(jù)Hadoop平臺和Spark實時處理平臺的大數(shù)據(jù)分析處理平臺的技術架構和實際分析挖掘處理應用，并用結合實際的信息化業(yè)務系統(tǒng)案例進行教學，講解利用Hadoop+Spark對行業(yè)大數(shù)據(jù)進行存儲管理和分析挖掘的技術應用，掌握基于Hadoop大數(shù)據(jù)平臺的并行挖掘處理技術和數(shù)據(jù)倉庫應用。深入講解包括大數(shù)據(jù)ETL處理、大數(shù)據(jù)倉庫HIVE、大數(shù)據(jù)分布式并行挖掘處理平臺Mahout，基于Spark內(nèi)存計算的實時挖掘處理平臺MLib， 互聯(lián)網(wǎng)行業(yè)常用的ELK（ElasticSearch，Logstash，Kibana）日志分析系統(tǒng)解決方案，以及電商數(shù)據(jù)挖掘與推薦系統(tǒng)Oryx，并基于這些平臺展開大數(shù)據(jù)分析挖掘與精準推薦處理平臺在金融行業(yè)的實踐應用。
3. 本課程采用技術原理與項目實戰(zhàn)相結合的方式進行教學，在講授原理的過程中，穿插實際的系統(tǒng)操作，本課程講師也精心準備的實際的應用案例供學員動手訓練。
四、培訓特色
定制授課+ 實戰(zhàn)案例訓練+ 互動咨詢討論，共1天，6課時.
五、詳細大綱（講解和實驗各占一半時間）
（注明：本次培訓使用的基礎軟件，包括Linux操作系統(tǒng)，Hadoop集群軟件和Spark集群軟件，講師在課前一周會公布講義資料和實驗平臺，請學員自備筆記本，參考配置CPU在i5及以上，內(nèi)存4GB及以上，硬盤可用存儲空間40GB及以上）
時間 授課內(nèi)容 動手實驗安排
第一天 1. 大型數(shù)據(jù)倉庫HIVE集群平臺的應用案例，Hive文件與記錄存儲格式、Hive大數(shù)據(jù)統(tǒng)計分析技術、Hive功能操作實踐，以及云計算數(shù)據(jù)中心的Hive大型數(shù)據(jù)倉庫集群在電商數(shù)據(jù)、搜索引擎、日志分析、用戶行為分析、客戶分析，以及互聯(lián)網(wǎng)金融數(shù)據(jù)分析中的案例剖析
2. 大數(shù)據(jù)分析的數(shù)據(jù)整理、數(shù)據(jù)集成、數(shù)據(jù)抽取、轉(zhuǎn)換、加載，ETL工具平臺的應用實踐與案例分享
3. 在互聯(lián)網(wǎng)電商平臺、互聯(lián)網(wǎng)金融平臺中針對用戶行為分析、客戶分析、個性化推薦、廣告精準投放、產(chǎn)品營銷應用場景下常用的數(shù)據(jù)建模方法、建模過程、匹配算法、并行數(shù)據(jù)挖掘算法、原理、以及技術應用。
4. 基于大數(shù)據(jù)集的機器學習算法，以及大數(shù)據(jù)的分類挖掘算法、聚類挖掘、統(tǒng)計學習、關聯(lián)分析挖掘和鏈接分析挖掘算法與技術在電商個性化推薦營銷和銀行客戶分析中的實踐應用
5. 業(yè)界常用的數(shù)據(jù)挖掘與分析算法及其應用實踐，重點講解七大類算法的實現(xiàn)技術與應用實踐：分類算法、聚類算法、關聯(lián)規(guī)則挖掘算法、回歸算法、進化算法、協(xié)同過濾與推薦算法。
6. 針對互聯(lián)網(wǎng)金融、網(wǎng)絡銀行和電商等不同業(yè)務場景的數(shù)據(jù)分析需求，講解決策樹分類（C4.5）挖掘、K均值聚類（K-means）挖掘、支持向量機分類（SVM）挖掘、關聯(lián)規(guī)則挖掘（Apriori）、最大期望（EM）挖掘、鏈接分析（PageRank）挖掘、集成（AdaBoost）挖掘、K近鄰（KNN）分類挖掘、貝葉斯分類（Na?ve Bayes）挖掘、分類和回歸（CART）挖掘算法、基于Item的協(xié)同過濾算法和基于用戶的協(xié)同過濾算法的基本原理、應用場景、實現(xiàn)技術、以及面向問題解析的組合挖掘構造方法，并結合業(yè)務需求剖析算法應用以及大數(shù)據(jù)挖掘中間件系統(tǒng)。
7. 基于Hadoop平臺的分布式并行數(shù)據(jù)挖掘平臺Mahout的系統(tǒng)架構、關鍵技術、核心組件的工作原理、安裝部署、配置調(diào)優(yōu)、二次應用開發(fā)實踐，Mahout大數(shù)據(jù)協(xié)同過濾分析、頻繁模式挖掘分析、聚類分析、分類分析、推薦分析應用的實現(xiàn)方式，以及Hadoop+Mahout大數(shù)據(jù)挖掘平臺的應用實踐案例，分別在電商日志分析、電商平臺商品推薦、電商平臺用戶推薦、金融與銀行理財產(chǎn)品的客戶流失預測、客戶分類分級挖掘、客戶屬性關聯(lián)挖掘業(yè)務中的應用。
8. 互聯(lián)網(wǎng)用戶行為分析實踐案例，對客戶進行360°刻畫，客戶分類分析，精準廣告營銷定位分析的實訓案例。銀行信用卡客戶的分類分析，以及客戶流失預測分析，消費行為分析的實踐案例
9. Spark大數(shù)據(jù)實時處理平臺的系統(tǒng)集群架構、關鍵技術、核心組件的工作原理，Spark分布式集群的安裝部署、配置調(diào)優(yōu)、Spark SQL和MLib的算法應用示例，及其在電商與支付平臺和運營日志中的應用實踐案例。
10. ELK（Elasticsearch ，Logstash，Kibana）分布式日志分析挖掘平臺的系統(tǒng)架構、關鍵技術和核心組件剖析，它在電商、互聯(lián)網(wǎng)金融平臺和第三方支付平臺，銀行應用中的客戶行為分析挖掘與分析處理，預測客戶的興趣、愛好、產(chǎn)品關聯(lián)性、情感、推薦標簽以及預測其在線消費決策，并剖析講解客戶個性化營銷的技術解決方案。
11. 基于大數(shù)據(jù)的推薦系統(tǒng)Oryx平臺的技術架構、關鍵技術和核心算法組件，以及Oryx分布式集群在個性化推薦、精準營銷、精準廣告投放領域中的實戰(zhàn)應用，以及解決方案實施。
12. 針對當前業(yè)務工作中遇到的大數(shù)據(jù)分析的需求、難點、痛點、瓶頸，以及解決之道，課堂討論預計可行的項目方案。講解某大型銀行的數(shù)據(jù)倉庫與分析系統(tǒng)架構，業(yè)務數(shù)據(jù)分析和數(shù)據(jù)統(tǒng)計分析與自動化報表的項目實施案例。
13. 基于真實的互聯(lián)網(wǎng)數(shù)據(jù)和實驗指導手冊在講師的引導下完成實際的項目案例，鞏固學過的大數(shù)據(jù)分析挖掘處理平臺技術知識以及應用技能 1. VMware環(huán)境下部署配置CentOS虛擬機集群模擬真實的物理集群
2. 在CentOS虛擬集群上部署Hadoop平臺以及配置操作
3. 配置部署HIVE數(shù)據(jù)倉庫集群，以及性能調(diào)優(yōu)實戰(zhàn)
4. 基于HIVE的大型數(shù)據(jù)倉庫的解決方案
5. 數(shù)據(jù)挖掘算法程序的實現(xiàn)與運行，并以用戶行為日志數(shù)據(jù)集為實驗素材，基于Hadoop處理平臺利用不同的算法對用戶進行分類、聚類以及推薦等實驗操作，并得出相應的結果
6. Mahout分布式并行挖掘平臺的實戰(zhàn)解決方案
7. 基于Spark與MLib的實時分析分析處理平臺的實戰(zhàn)解決方案，集群的部署、配置，分析算法的運行調(diào)優(yōu)
8. 運行Mahout和MLib中的每一類算法中的不同算法實現(xiàn)，并比較不同分析挖掘結果，掌握各個分析場景下的算法組合優(yōu)化
9. ELK日志分析與挖掘系統(tǒng)的實戰(zhàn)解決方案，基于真實日志數(shù)據(jù)集進行分析
10. Oryx大數(shù)據(jù)推薦系統(tǒng)的實戰(zhàn)解決方案
11. 基于實驗部署的VMware虛擬化集群管理軟件，以及Hadoop + HBase + ELK + HIVE + Mahout + Storm + Spark的大數(shù)據(jù)分析挖掘處理平臺集成解決方案的應用實踐案例分享
12. 基于講解過的大數(shù)據(jù)分析挖掘平臺集成解決方案，設計實現(xiàn)一個真實的融合用戶歷史行為的數(shù)據(jù)搜索系統(tǒng)，日志分析與電商推薦系統(tǒng)應用案例。
13. 互聯(lián)網(wǎng)電商和銀行金融業(yè)的客戶分析、支付分析、產(chǎn)品推薦分析、用戶行為分析、交易分析、預測分析的應用解決方案。 |
|
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業(yè)
