數(shù)據(jù)分析系統(tǒng)用來(lái)處理搜索引擎蜘蛛抓取回來(lái)的網(wǎng)頁(yè)，包括以下幾個(gè)步驟。

(1)網(wǎng)頁(yè)結(jié)構(gòu)化。

簡(jiǎn)單地說(shuō)，就是把那些html代碼全部刪掉，提取出內(nèi)容。

(2)消噪。

消噪是什么意思呢?在網(wǎng)頁(yè)結(jié)構(gòu)化中，已經(jīng)刪掉了html代碼,剩下了文字，那么消噪指的就是留下網(wǎng)頁(yè)的主題內(nèi)容，刪掉沒(méi)用的內(nèi)容。

(3)查重。

查重比較好理解，就是搜索引擎查找重復(fù)的網(wǎng)頁(yè)與內(nèi)容，如果找到重復(fù)的頁(yè)面，就刪除。

(4)分詞。

搜索引擎蜘蛛在進(jìn)行了前面的步驟后，提取出正文的內(nèi)容，把內(nèi)容分成N個(gè)詞語(yǔ)排列出來(lái)，存入索引庫(kù)。

同時(shí)，也會(huì)計(jì)算這一個(gè)詞在這個(gè)頁(yè)面出現(xiàn)了多少次。

(5)鏈接分析。

搜索引擎會(huì)查詢這個(gè)頁(yè)面的反向鏈接有多少、導(dǎo)出鏈接有多少，以及內(nèi)鏈，然后賦予該頁(yè)面相應(yīng)的權(quán)重。