搜索引擎會(huì)把這些處理好的信息放到搜索引擎的索引庫(kù)中。

下面重點(diǎn)介紹Google搜索引擎。

Google 搜索引擎使用兩個(gè)爬行器來(lái)抓取網(wǎng)頁(yè)內(nèi)容，分別是:Freshbot和Deepbot。

深度爬行器(Deepbot)每月執(zhí)行一次，其受訪的內(nèi)容在Google的主要索引中，而刷新爬行器(Freshbot)則是晝夜不停地在網(wǎng)絡(luò)上發(fā)現(xiàn)新的信息和資源，之后再頻繁地進(jìn)行訪問(wèn)和更新。

因?yàn)?，一般Google第一次發(fā)現(xiàn)的或比較新的網(wǎng)站就在Freshbot的名單中進(jìn)行訪問(wèn)了。

Freshbot的結(jié)果是保存在另一個(gè)單獨(dú)的數(shù)據(jù)庫(kù)中的，由于Freshbot是不停地工作，不停地刷新訪問(wèn)內(nèi)容，因此，被它發(fā)現(xiàn)或更新的網(wǎng)頁(yè)在其執(zhí)行的時(shí)候都會(huì)被重寫(xiě)。

而且這些內(nèi)容是和Google主要索引器一同提供搜索結(jié)果的。

而之前某些網(wǎng)站在一開(kāi)始被Google收錄，但是沒(méi)過(guò)幾天這些信息就在Google的搜索結(jié)果中消失了，直到一兩個(gè)月過(guò)去了,結(jié)果又重新出現(xiàn)在Google的主索引中。

這就是由于Freshbot在不停地更新和刷新內(nèi)容，而Deepbot要每月才出擊一次，所以這些在Freshbot里的結(jié)果還沒(méi)有來(lái)得及更新到主索引中，又被新的內(nèi)容代替掉了。

直到Deepbot重新來(lái)訪問(wèn)這一頁(yè),進(jìn)行收錄,才真正進(jìn)入Google的主索引數(shù)據(jù)庫(kù)中。