搜索引擎的蜘蛛抓取網(wǎng)頁(yè)有規(guī)律嗎?如果蜘蛛胡亂地去抓取網(wǎng)頁(yè)，那么就費(fèi)勁了，互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，每天都增加那么那么多，蜘蛛怎么可以抓取得過(guò)來(lái)呢?所以說(shuō)，蜘蛛抓取網(wǎng)頁(yè)也是有規(guī)律的。

蜘蛛抓取網(wǎng)頁(yè)策略1:深度優(yōu)先什么是深度優(yōu)先?簡(jiǎn)單地說(shuō)，就是搜索引擎蜘蛛在一個(gè)頁(yè)面發(fā)現(xiàn)一個(gè)鏈接然后順著這個(gè)鏈接爬下去，然后在下一個(gè)頁(yè)面又發(fā)現(xiàn)一個(gè)鏈接，然后就又爬下去并且全部抓取，這就是深度優(yōu)先抓取策略。

我們假如網(wǎng)頁(yè)A在搜索引擎中的權(quán)威度是最高的，假如D網(wǎng)頁(yè)的權(quán)威是最低的，如果說(shuō)搜索引擎蜘蛛按照深度優(yōu)先的策略來(lái)抓取網(wǎng)頁(yè)，那么就會(huì)反過(guò)來(lái)了，就是D網(wǎng)頁(yè)的權(quán)威度變?yōu)樽罡?，這就是深度優(yōu)先!蜘蛛抓取網(wǎng)頁(yè)策略2:寬度優(yōu)先寬度優(yōu)先比較好理解，就是搜索引擎蜘蛛先把整個(gè)頁(yè)面的鏈接全部抓取一次，然后再抓取下一個(gè)頁(yè)面的全部鏈接。

寬度優(yōu)先其實(shí)也就是大家平時(shí)所說(shuō)的扁平化結(jié)構(gòu)，大家或許在某個(gè)神秘的角落看到一篇文章，告誡大家，網(wǎng)頁(yè)的層度不能太多，如果太多會(huì)導(dǎo)致收錄很難，所以搜索引擎蜘蛛的寬度優(yōu)先策略，其實(shí)就是這個(gè)原因。

蜘蛛抓取網(wǎng)頁(yè)策略3:權(quán)重優(yōu)先搜索引擎蜘蛛一般都是上述兩種抓取策略一起用，也就是深度優(yōu)先+寬度優(yōu)先，并且在使用這兩種策略抓取的時(shí)候，要參照這條鏈接的權(quán)重，如果說(shuō)這條鏈接的權(quán)重還不錯(cuò)，那么就采用深度優(yōu)先，如果說(shuō)這條鏈接的權(quán)重很低，那么就采用寬度優(yōu)先!那么搜索引擎蜘蛛怎樣知道這條鏈接的權(quán)重呢?這里有兩個(gè)因素:1.層次的多與少;2.這個(gè)鏈接的外鏈多少與質(zhì)量。

那么如果層級(jí)太多的鏈接是不是就不會(huì)被抓取呢?這也不是絕對(duì)的，這里邊要考慮許多因素。

蜘蛛抓取網(wǎng)頁(yè)策略4:重訪抓取昨天搜索引擎的蜘蛛來(lái)抓取了我們的網(wǎng)頁(yè)，而今天我們?cè)谶@個(gè)網(wǎng)頁(yè)又加了新的內(nèi)容，那么搜索引擎蜘蛛今天又來(lái)抓取新的內(nèi)容，這就是重訪抓取。

重訪抓取分為全部重訪和單個(gè)重訪。

所謂全部重訪指的是蜘蛛上次抓取的鏈接，然后在這一個(gè)月的某一天，全部重新去訪問(wèn)抓取一次。

單個(gè)重訪一般都是針對(duì)某個(gè)更新的頻率比較快比較穩(wěn)定的頁(yè)面，如果說(shuō)我們有一個(gè)頁(yè)面，1個(gè)月也不更新一次。

那么搜索引擎蜘蛛第一天來(lái)了你是這個(gè)樣子，第二天，還是這個(gè)樣子，那么第三天搜索引擎蜘蛛就不會(huì)來(lái)了，會(huì)隔一段時(shí)間再來(lái)一次，比如隔1個(gè)月再來(lái)一次，或者等全部重訪的時(shí)候再更新一次。

以上就是搜索引擎蜘蛛抓取網(wǎng)頁(yè)的一些策略。

搜索引擎蜘蛛把網(wǎng)頁(yè)抓取回來(lái)后就開(kāi)始進(jìn)行數(shù)據(jù)分析。