自（zì）己動手寫網絡爬蟲 修訂版 pdf

自己動手（shǒu）寫網（wǎng）絡爬蟲（chóng） 修訂版 pdf高（gāo）清版是一（yī）本由羅（luó）剛所著的網絡爬蟲教（jiāo）程參考圖書，該（gāi）書全麵介紹（shào）了網（wǎng）絡爬（pá）蟲的所（suǒ）有基礎知識，理論與實踐高度（dù）結合，講（jiǎng）解深入透徹，歡迎大家免費下載！

自己（jǐ）動手寫網絡爬蟲電子版介紹

本書（shū）介紹了（le）網（wǎng）絡爬蟲（chóng）開發中的關鍵問題與Java實現（xiàn）。主（zhǔ）要包（bāo）括從（cóng）互聯（lián）網獲取信息與（yǔ）提取（qǔ）信息和對Web信息挖掘等內容。本書（shū）在介紹基本原理的同時注重（chóng）輔以具體（tǐ）代碼實現來幫助讀（dú）者加（jiā）深理（lǐ）解，書（shū）中（zhōng）部分代碼甚至可以直（zhí）接使用。

自己動（dòng）手寫網絡爬（pá）蟲（chóng）修訂版目錄

第1篇 自己動手抓取數據

第1章 全麵剖（pōu）析網絡爬蟲 3

1.1 抓取網頁 4

1.1.1 深入理解URL 4

1.1.2 通過（guò）指定的URL抓取

網頁內容 6

1.1.3 Java網頁抓取（qǔ）示（shì）例 8

1.1.4 處理HTTP狀態碼 10

1.2 寬度（dù）優先爬（pá）蟲（chóng）和帶偏好的爬蟲 12

1.2.1 圖的（de）寬（kuān）度優（yōu）先遍曆（lì） 12

1.2.2 寬度優先遍曆（lì）互聯網 13

1.2.3 Java寬度優先爬蟲（chóng）示例 15

1.2.4 帶偏好的（de）爬蟲 22

1.2.5 Java帶偏好的爬蟲示例 23

1.3 設（shè）計爬蟲隊（duì）列 24

1.3.1 爬蟲（chóng）隊列 24

1.3.2 使（shǐ）用Berkeley DB構建（jiàn）爬蟲

隊列 29

1.3.3 使（shǐ）用Berkeley DB 構建（jiàn）爬蟲（chóng）

隊列示例 30

1.3.4 使用布（bù）隆過濾器構建

Visited表 36

1.3.5 詳解Heritrix爬蟲隊列 39