課程目標

本課程將為大家全面而又深入的介紹Hadoop和Spark平臺的構建流程，涉及Hadoop和Spark系統(tǒng)基礎知識，概念及架構， Hadoop和Spark實戰(zhàn)技巧(數據挖掘和機器學習)，Hadoop和Spark經典案例等。

 師資團隊

華清創(chuàng)客企業(yè)內訓講師，均是來自各個領域的資深專家，均擁有6年以上大型項目經驗。

 培養(yǎng)對象

1、學員學習本課程應具備基礎知識：1) 了解Java語言； 2) 了解Linux系統(tǒng)；3） 數據挖掘基礎；
2、適合人群：各類 IT/軟件企業(yè)和研發(fā)機構的軟件架構師、軟件設計師、程序員。對于懷有設計疑問和問題，需要梳理解答的團隊和個人，效果最佳。

 培訓方式

• 第一種：華清創(chuàng)客講師面授
  課時：共3天，每天6學時，總計18學時
  ◆費用：3600元
  ◆外地學員：代理安排食宿（需提前預定）
  
  第二種：線上直播授課
  直播課時：共6天，每天3學時，總計18學時；
  輔導：授課期間，輔導老師每天有1小時的輔導直播
  ◆費用：3600元
  
  第三種：企業(yè)訂制培訓
  課時：根據定制的大綱確定課時
  費用：根據課程難度，每課時1500~3000元

  
  

   質量保證

• 1、培訓過程中，如有部分內容理解不透或消化不好，可免費在下期培訓班中重聽；

  2、培訓結束后免費提供一個月的技術支持，充分保證培訓后出效果；

  3、培訓合格學員可享受免費推薦就業(yè)機會。

•  課程大綱

  主題 內容

   

  大數據架構概述 "1. 大數據層級結構

  介紹大數據系統(tǒng)基本架構與流程

  2. Hadoop生態(tài)系統(tǒng)概述以及版本演化

  概要介紹Hadoop生態(tài)系統(tǒng)及其版本演化歷史，并給出hadoop版本選擇建議。

  3. Spark生態(tài)系統(tǒng)概述

   

  概要介紹Spark生態(tài)系統(tǒng)及其特點，并與Hadoop對比"

  數據收集系統(tǒng)Flume與Sqoop 介紹如何使用flume和sqoop兩個系統(tǒng)將外部流式數據（比如網站日志，用戶行為數據等）、關系型數據庫（比如MySQL、Oracle等）中的數據導入Hadoop中進行分析和挖掘

   

  大數據存儲系統(tǒng)HDFS與Hbase "1. 1. HDFS 2.0 原理、特性與基本架構

  2. 理論：介紹HDFS 2.0原理與架構，以及使用方式

  3.

  4. 2. HBase原理，基本架構與案例分析

  5. 理論：介紹HBase應用場景、原理和架構，介紹幾個HBase典型應用案例，包括互聯網應用案例和銀行應用案例。"

   

  分布式計算技術MapReduce與Hive "1. 介紹計算框架MapReduce基本原理，架構及程序設計方式

  2. 動手編寫第一個MapReduce程序

  3. Hive基本原理及使用方式"

   

  分布式計算技術Spark "1. 介紹計算框架Spark基本原理，架構及程序設計方式

  2. Spark程序設計"

   

  數據挖掘與機器學習 "1. 常見的數據挖掘與機器學習算法

  2. Hadoop數據挖掘庫mahout

  3. Spark數據挖掘庫mllib"

   

  應用案例1：基于Hadoop的構建數據倉庫 "1. 數據倉庫基礎介紹

  2. 如何利用大數據系統(tǒng)構建數據倉庫

  使用Flume+HDFS+MapReduce+Hive構建數據倉庫

  3. 數據倉庫基本架構

  4. 數據倉庫應用

  如報表生成"

   

  應用案例2：用戶畫像系統(tǒng) "1. 什么是用戶畫像系統(tǒng)

  2. 如何構建用戶畫像系統(tǒng)

  使用Flume/sqoop+HDFS+HBase+MapReduce/Spark+redis構建用戶標簽系統(tǒng)

  3. 用數據挖掘方式構建用戶標簽 

  應用邏輯回歸、聚類、分類等機器學習和數據挖掘算法構建用戶標簽

  4. 用戶畫像系統(tǒng)應用

  用戶畫像系統(tǒng)在用戶信用等級分級、大數據營銷中、用戶流失預警、潛在用戶分析、異常檢測與分析等方面的應用"

   

  應用案例3：商品推薦系統(tǒng) "1. 什么是商品推薦系統(tǒng)

  2. 商品推薦系統(tǒng)基本架構

  使用Flume+HDFS +Spark+Redis構建推薦系統(tǒng)

  3. 推薦算法

  推薦算法詳解"

   

  應用案例4：數據挖掘系統(tǒng) "1. 什么是數據挖掘系統(tǒng)

  2. 數據挖掘算法的使用

  以Spark為主，如何設計和實現邏輯回歸、聚類、分類等機器學習和數據挖掘算法

  3. 數據挖掘的典型應用"