課程目標

隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)信息呈現(xiàn)指數(shù)式增長，要在短時間內(nèi)獲取大量信息，網(wǎng)絡(luò)爬蟲無疑是一種最適合的方法。通過爬蟲獲取的海量信息，可以進一步的分析與應(yīng)用，如股票預(yù)測、畫像構(gòu)建、話題跟蹤等。
Python作為一門腳本語言，它靈活、易用、易學、適用場景多，實現(xiàn)程序快捷便利，早已經(jīng)成為程序員們的一門編程利器。Python這門編程語言包羅萬象，可以說掌握了python，除了一些特殊環(huán)境和高度的性能要求，你可以用它做任何事。為提升相關(guān)科技工作者的技術(shù)水平，“網(wǎng)絡(luò)爬蟲技術(shù)及實戰(zhàn)”課程從爬蟲的基本知識入手，使用Python作為實現(xiàn)工具，一步步地講述網(wǎng)絡(luò)爬蟲的實現(xiàn)。

 師資團隊

華清創(chuàng)客企業(yè)內(nèi)訓講師，均是來自各個領(lǐng)域的資深專家，均擁有6年以上大型項目經(jīng)驗。

 培養(yǎng)對象

學員學習本課程應(yīng)具備下列基礎(chǔ)知識：
①具備Python語言編程的基本知識和初步技能；
②了解基本的網(wǎng)絡(luò)通信知識；

 培訓方式

• 第一種：華清創(chuàng)客講師面授
  課時：共3天，每天6學時，總計18學時
  ◆費用：2500元
  ◆外地學員：代理安排食宿（需提前預(yù)定）
  
  第二種：線上直播授課
  直播課時：共6天，每天3學時，總計18學時；
  輔導：授課期間，輔導老師每天有1小時的輔導直播
  ◆費用：2500元
  
  第三種：企業(yè)訂制培訓
  課時：根據(jù)定制的大綱確定課時
  費用：根據(jù)課程難度，每課時1500~3000元
  

   質(zhì)量保證

• 1、培訓過程中，如有部分內(nèi)容理解不透或消化不好，可免費在下期培訓班中重聽；

  2、培訓結(jié)束后免費提供一個月的技術(shù)支持，充分保證培訓后出效果；

  3、培訓合格學員可享受免費推薦就業(yè)機會。

•  課程大綱

  第一部分 網(wǎng)絡(luò)爬蟲理論基礎(chǔ)

  1. 網(wǎng)絡(luò)通信基礎(chǔ)

  2. HTTP協(xié)議簡介

  3. Web開發(fā)知識介紹

  4. 網(wǎng)站分析知識介紹

   

  第二部分 Python基礎(chǔ)

  1. Python初識: 開發(fā)環(huán)境安裝與使用

  2. Python基礎(chǔ)數(shù)據(jù)結(jié)構(gòu)（元組/列表/字符串/字典）

  3. Python語法基礎(chǔ)（條件/循環(huán)/函數(shù)/類/模塊）

  4. Python文件操作實戰(zhàn)

  5. Python異常處理實戰(zhàn)

   

  第三部分 網(wǎng)絡(luò)爬蟲基本工具庫

  1. 認識正則表達式

  2. 正則表達式實戰(zhàn)

  3. 基礎(chǔ)Python爬蟲庫（urllib/Requests）

  4. “漂亮”的爬蟲庫-Beautiful Soup

  5. 靜態(tài)網(wǎng)頁爬取案例分享

  6. Selenium與模擬瀏覽器-PhantomJS

  7. 動態(tài)網(wǎng)頁爬取案例分享

  8. 利用API進行數(shù)據(jù)采集

  9. OCR技術(shù)實現(xiàn)驗證碼自動識別，模擬登陸實戰(zhàn)

   

  第四部分 Scrapy爬蟲框架

  1. 認識Scrapy框架

  2. Scrapy框架安裝難點解決技巧

  3. Scrapy常見指令實戰(zhàn)

  4. Scrapy實現(xiàn)爬蟲實戰(zhàn)

  5. Scrapy模擬登錄實戰(zhàn)

  6. Scrapy新聞爬蟲項目實戰(zhàn)

  7. Scrapy網(wǎng)站登陸爬蟲與驗證碼自動識別項目實戰(zhàn)

  8. Scrapy與Urllib的整合使用

   

  第五部分 PySpider爬蟲框架

  1. 認識PySpider框架

  2. PySpider框架安裝與部署

  3. PySpider常見指令

  4. PySpider實現(xiàn)爬蟲案例分析

   

  第六部分 異步網(wǎng)站數(shù)據(jù)采集

  1. 認識Ajax

  2. Ajax分析方法

  3. Ajax結(jié)果提取

  4. Ajax實現(xiàn)爬蟲案例分析

   

  第七部分 分布式爬蟲介紹

  1. 爬蟲隊列設(shè)計

  2. 多線程爬蟲

  3. 多進程爬蟲

  4. 集群化爬取

   

  第八部分 爬蟲的存儲

  1. 文本文件存儲

  2. Excel存儲

  3. 關(guān)系型數(shù)據(jù)庫存儲

  4. 非關(guān)系型數(shù)據(jù)庫存儲

   

  第九部分 爬蟲綜合案例實戰(zhàn)

  1. 百度百科語料爬取

  2. 京東評論數(shù)據(jù)爬取與分析

  3. 豆瓣讀書數(shù)據(jù)爬取

  4. 微博數(shù)據(jù)抓取

  5. QQ空間數(shù)據(jù)爬取

  6. 中國知網(wǎng)文獻爬取