由于網(wǎng)絡(luò)數(shù)據(jù)的豐富程度快速提高，個人與企業(yè)對數(shù)據(jù)的需求也日益增加，利用數(shù)據(jù)進行決策支持也成為普遍性的需求。

同時，利用數(shù)據(jù)進行預(yù)測與優(yōu)化分析，可以有效地提高效益與防范風(fēng)險，準(zhǔn)確、快速地獲取數(shù)據(jù)也成為很多崗位要求的必備技能。

① 通用網(wǎng)絡(luò)爬蟲 通用網(wǎng)絡(luò)爬蟲從互聯(lián)網(wǎng)中搜集網(wǎng)頁采集信息，這些網(wǎng)頁采集信息用于為搜索引擎建立索引提供支持，網(wǎng)頁信息的豐富程度決定了整個引擎系統(tǒng)的內(nèi)容是否豐富、信息是否即時，因此引擎系統(tǒng)性能的優(yōu)劣直接影響了搜索引擎的使用效果。

 通用網(wǎng)絡(luò)爬蟲的采集原理是，通過網(wǎng)頁的鏈接地址來尋找網(wǎng)頁，從網(wǎng)站某一個頁面（通常是首頁）開始讀取網(wǎng)頁的內(nèi)容，從而找到網(wǎng)頁中的其他鏈接地址，然后通過這些鏈接地址尋找下一個網(wǎng)頁。

這樣一直循環(huán)，直到抓取這個網(wǎng)站所有的網(wǎng)頁。

 用網(wǎng)絡(luò)爬蟲的基本工作流程 1．抓取網(wǎng)頁。

2．?dāng)?shù)據(jù)存儲。

3．預(yù)處理。

4．提供檢索服務(wù)和網(wǎng)站排名。

 ② 聚焦網(wǎng)絡(luò)爬蟲 Web 結(jié)構(gòu)越來越復(fù)雜，網(wǎng)頁數(shù)量越來越多，通用網(wǎng)絡(luò)爬蟲對所有鏈接指向的網(wǎng)頁不加選擇地抓取，往往不能遍歷整個 Web 上的所有網(wǎng)頁，而聚焦網(wǎng)絡(luò)爬蟲會有選擇性地抓取那些與預(yù)先定義的主題相關(guān)的網(wǎng)頁。

和通用網(wǎng)絡(luò)爬蟲相比，聚焦網(wǎng)絡(luò)爬蟲只需要抓取與主題相關(guān)的網(wǎng)頁，極大地減少了硬件損耗、節(jié)省了網(wǎng)絡(luò)資源，保存的網(wǎng)頁也由于數(shù)量少而更新快，同時可以很好地滿足特定人群對特定領(lǐng)域信息的需求。

 聚焦網(wǎng)絡(luò)爬蟲和通用網(wǎng)絡(luò)爬蟲相比，增加了鏈接評價模塊及內(nèi)容評價模塊。

聚焦網(wǎng)絡(luò)爬蟲爬行策略實現(xiàn)的關(guān)鍵是評價網(wǎng)頁內(nèi)容和鏈接的重要性，使用不同的方法得出的重要性不同，由此導(dǎo)致鏈接的訪問順序也不同。