柚子快報激活碼778899分享：scrapy實現(xiàn)增量式爬取

http://yzkb.51969.com/

novel_ImageUrl = novel_ImageUrl,

_id = novel_ID, #小說id作為唯一標識符

novel_Writer = novel_Writer,

novel_Status = novel_Status,

novel_Words = novel_Words,

novel_UpdateTime = novel_UpdateTime,

novel_AllClick = novel_AllClick,

novel_MonthClick = novel_MonthClick,

novel_WeekClick = novel_WeekClick,

novel_AllComm = novel_AllComm,

novel_MonthComm = novel_MonthComm,

novel_WeekComm = novel_WeekComm,

novel_Url = novel_Url,

novel_Introduction = novel_Introduction,

)

return bookitem

2.解析章節(jié)信息

def parse_chapter_content(self,response):

if not response.body:

print(response.url+“已經(jīng)被爬取過了，跳過”)

return;

ht = response.body.decode(‘utf-8’)

text = html.fromstring(ht)

soup = BeautifulSoup(ht)

novel_ID = response.url.split(“/”)[-2]

novel_Name = text.xpath(“.//p[@class=‘fr’]/following-sibling::a[3]/text()”)[0]

chapter_Name = text.xpath(“.//h1[1]/text()”)[0]

‘’’

chapter_Content = “”.join(“”.join(text.xpath(“.//dd[@id=‘contents’]/text()”)).split())

if len(chapter_Content) < 25:

chapter_Content = “”.join(“”.join(text.xpath(“.//dd[@id=‘contents’]//*/text()”)))

pattern = re.compile(‘dd id=“contents”.?>(.?)’)

match = pattern.search(ht)

chapter_Content = “”.join(match.group(1).replace("?“,”").split()) if match else “爬取錯誤”

‘’’

result,number = re.subn(“<.*?>”,“”,str(soup.find(“dd”,id=‘contents’)))

chapter_Content = “”.join(result.split())

print(len(chapter_Content))

novel_ID = response.url.split(“/”)[-2]

return ChapterItem(

chapter_Url = response.url,

_id=int(response.url.split(“/”)[-1].split(“.”)[0]),

novel_Name=novel_Name,

chapter_Name=chapter_Name,

chapter_Content= chapter_Content,

novel_ID = novel_ID,

is_Error = len(chapter_Content) < 3000

)

3.scrapy中實現(xiàn)增量式爬取的幾種方式

1.緩存

通過開啟緩存，將每個請求緩存至本地，下次爬取時，scrapy會優(yōu)先從本地緩存中獲得response，這種模式下，再次請求已爬取的網(wǎng)頁不用從網(wǎng)絡(luò)中獲得響應，所以不受帶寬影響，對服務(wù)器也不會造成額外的壓力，但是無法獲取網(wǎng)頁變化的內(nèi)容，速度也沒有第二種方式快，而且緩存的文件會占用比較大的內(nèi)存，在setting.py的以下注釋用于設(shè)置緩存

#HTTPCACHE_ENABLED = True

#HTTPCACHE_EXPIRATION_SECS = 0

#HTTPCACHE_DIR = ‘httpcache’

#HTTPCACHE_IGNORE_HTTP_CODES = []

#HTTPCACHE_STORAGE = ‘scrapy.extensions.httpcache.FilesystemCacheStorage’

這種方式比較適合內(nèi)存比較大的主機使用，我的阿里云是最低配的，在爬取半個晚上接近27W個章節(jié)信息后，內(nèi)存就用完了

2.對item實現(xiàn)去重

本文開頭的第一種方式，實現(xiàn)方法是在pipelines.py中進行設(shè)置，即在持久化數(shù)據(jù)之前判斷數(shù)據(jù)是否已經(jīng)存在，這里我用的是mongodb持久化數(shù)據(jù)，邏輯如下

#處理書信息

def process_BookItem(self,item):

bookItemDick = dict(item)

try:

self.bookColl.insert(bookItemDick)

print(“插入小說《%s》的所有信息”%item[“novel_Name”])

except Exception:

print(“小說《%s》已經(jīng)存在”%item[“novel_Name”])

#處理每個章節(jié)

def process_ChapterItem(self,item):

try:

self.contentColl.insert(dict(item))

print(‘插入小說《%s》的章節(jié)"%s"’%(item[‘novel_Name’],item[‘chapter_Name’]))

except Exception:

print(“%s存在了,跳過”%item[“chapter_Name”])

def process_item(self, item, spider):

‘’’

if isinstance(item,ChaptersItem):

self.process_ChaptersItem(item)

‘’’

if isinstance(item,BookItem):

self.process_BookItem(item)

if isinstance(item,ChapterItem):

self.process_ChapterItem(item)

return item

兩種方法判斷mongodb中是否存在已有的數(shù)據(jù)，一是先查詢后插入，二是先設(shè)置唯一索引或者主鍵再直接插入，由于mongodb的特點是插入塊，查詢慢，所以這里直接插入，需要將唯一信息設(shè)置為”_id”列，或者設(shè)置為唯一索引，在mongodb中設(shè)置方法如下

db.集合名.ensureIndex({“要設(shè)置索引的列名”:1},{“unique”:1})

需要用什么信息實現(xiàn)去重，就將什么信息設(shè)置為唯一索引即可（小說章節(jié)信息由于數(shù)據(jù)量比較大，用于查詢的列最好設(shè)置索引，要不然會非常慢），這種方法對于服務(wù)器的壓力太大，而且速度比較慢，我用的是第二種方法，即對已爬取的url進行去重

3.對url實現(xiàn)去重

對我而言，這種方法是最好的方法，因為速度快，對網(wǎng)站服務(wù)器的壓力也比較小，不過網(wǎng)上的資料比較少，后來在文檔中發(fā)現(xiàn)scrapy可以自定義下載中間件，才解決了這個問題

文檔原文如下

class scrapy.downloadermiddlewares.DownloaderMiddleware

process_request(request, spider) 當每個request通過下載中間件時，該方法被調(diào)用。

process_request() 必須返回其中之一: 返回 None 、返回一個 Response 對象、返回一個 Request

對象或raise IgnoreRequest 。

如果其返回 None ，Scrapy將繼續(xù)處理該request，執(zhí)行其他的中間件的相應方法，直到合適的下載器處理函數(shù)(download

handler)被調(diào)用， 該request被執(zhí)行(其response被下載)。

如果其返回 Response 對象，Scrapy將不會調(diào)用 任何 其他的 process_request() 或

process_exception() 方法，或相應地下載函數(shù)； 其將返回該response。 已安裝的中間件的

process_response() 方法則會在每個response返回時被調(diào)用。

如果其返回 Request 對象，Scrapy則停止調(diào)用

process_request方法并重新調(diào)度返回的request。當新返回的request被執(zhí)行后，

相應地中間件鏈將會根據(jù)下載的response被調(diào)用。

如果其raise一個 IgnoreRequest 異常，則安裝的下載中間件的 process_exception()

方法會被調(diào)用。如果沒有任何一個方法處理該異常，

則request的errback(Request.errback)方法會被調(diào)用。如果沒有代碼處理拋出的異常，

則該異常被忽略且不記錄(不同于其他異常那樣)。

所以只需要在process_request中實現(xiàn)去重的邏輯就可以了，代碼如下

class UrlFilter(object):

#初始化過濾器（使用mongodb過濾）

def init(self):

self.settings = get_project_settings()

self.client = pymongo.MongoClient(

host = self.settings[‘MONGO_HOST’],

port = self.settings[‘MONGO_PORT’])

self.db = self.client[self.settings[‘MONGO_DB’]]

self.bookColl = self.db[self.settings[‘MONGO_BOOK_COLL’]]

#self.chapterColl = self.db[self.settings[‘MONGO_CHAPTER_COLL’]]

self.contentColl = self.db[self.settings[‘MONGO_CONTENT_COLL’]]

def process_request(self,request,spider):

if (self.bookColl.count({“novel_Url”:request.url}) > 0) or (self.contentColl.count({“chapter_Url”:request.url}) > 0):

return http.Response(url=request.url,body=None)

但是又會有一個問題，就是有可能下次開啟時，種子url已經(jīng)被爬取過了，爬蟲會直接關(guān)閉，后來想到一個笨方法解決了這個問題，即在pipeline.py里的open_spider方法中再爬蟲開啟時刪除對種子url的緩存

def open_spider(self,spider):

self.bookColl.remove({“novel_Url”:“http://www.23us.so/xiaoshuo/414.html”})

3.結(jié)果

目前一個晚上爬取了大約1000部小說35W個章節(jié)的信息，還在繼續(xù)爬取中

[

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進入阿里一直到現(xiàn)在。

深知大多數(shù)Python工程師，想要提升技能，往往是自己摸索成長或者是報班學習，但對于培訓機構(gòu)動則幾千的學費，著實壓力不小。自己不成體系的自學效果低效又漫長，而且極易碰到天花板技術(shù)停滯不前！

因此收集整理了一份《2024年P(guān)ython開發(fā)全套學習資料》，初衷也很簡單，就是希望能夠幫助到想自學提升又不知道該從何學起的朋友，同時減輕大家的負擔。

既有適合小白學習的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗的小伙伴深入學習提升的進階課程，基本涵蓋了95%以上前端開發(fā)知識點，真正體系化！

由于文件比較大，這里只是將部分目錄大綱截圖出來，每個節(jié)點里面都包含大廠面經(jīng)、學習筆記、源碼講義、實戰(zhàn)項目、講解視頻，并且后續(xù)會持續(xù)更新

如果你覺得這些內(nèi)容對你有幫助，可以掃碼獲?。。。。▊渥ython）

70aad5355a2c5eeff0.png)

既有適合小白學習的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗的小伙伴深入學習提升的進階課程，基本涵蓋了95%以上前端開發(fā)知識點，真正體系化！

由于文件比較大，這里只是將部分目錄大綱截圖出來，每個節(jié)點里面都包含大廠面經(jīng)、學習筆記、源碼講義、實戰(zhàn)項目、講解視頻，并且后續(xù)會持續(xù)更新

如果你覺得這些內(nèi)容對你有幫助，可以掃碼獲?。。。。▊渥ython）

柚子快報激活碼778899分享：scrapy實現(xiàn)增量式爬取

http://yzkb.51969.com/

文章來源