柚子快報邀請碼778899分享：Scrapy中間件

http://yzkb.51969.com/

1. 下載器中間件（Downloader Middlewares）

下載器中間件用于在請求和響應通過Scrapy下載器時進行處理。這些中間件通常用于處理HTTP請求和響應。

UserAgentMiddleware：隨機或指定User-Agent，模擬不同瀏覽器請求。RetryMiddleware：處理請求失敗的重試邏輯。RedirectMiddleware：處理HTTP重定向。HttpAuthMiddleware：處理HTTP身份認證。HttpProxyMiddleware：使用代理服務器發(fā)送請求。CookiesMiddleware：處理cookies。

2. Spider中間件（Spider Middlewares）

Spider中間件用于處理Spider處理的輸入和輸出。在Spider處理請求和響應時進行干預。

OffsiteMiddleware：過濾掉不在允許的域名中的請求。RefererMiddleware：自動設置Referer頭。DepthMiddleware：控制爬取的深度，防止爬蟲無限爬取。RobotsTxtMiddleware：遵守robots.txt文件中的爬取規(guī)則。

3. 其他常用中間件

這些中間件既不屬于下載器中間件也不屬于Spider中間件，但在Scrapy中也很常用。

StatsCollectorMiddleware：收集爬蟲運行的統(tǒng)計信息。LogStatsMiddleware：定期記錄爬蟲運行的統(tǒng)計信息。GzipMiddleware：處理gzip壓縮的響應。S3DownloadHandlerMiddleware：從Amazon S3下載文件。

自定義中間件

除了Scrapy內(nèi)置的中間件，用戶還可以根據(jù)需要自定義中間件，以便在請求和響應處理中加入特定的邏輯。自定義中間件的示例如下：

from scrapy import signals

class CustomDownloaderMiddleware:

@classmethod

def from_crawler(cls, crawler):

# 這個方法用于創(chuàng)建中間件實例

s = cls()

crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)

return s

def process_request(self, request, spider):

# 處理請求

request.headers['Custom-Header'] = 'value'

return None

def process_response(self, request, response, spider):

# 處理響應

return response

def process_exception(self, request, exception, spider):

# 處理異常

pass

def spider_opened(self, spider):

spider.logger.info('Spider opened: %s' % spider.name)

通過配置文件（settings.py）啟用和配置中間件。例如：

DOWNLOADER_MIDDLEWARES = {

'myproject.middlewares.CustomDownloaderMiddleware': 543,

}

上述配置中的數(shù)字表示中間件的執(zhí)行順序，數(shù)值越低優(yōu)先級越高。

通過合理使用中間件，可以極大地增強Scrapy爬蟲的功能和靈活性。

柚子快報邀請碼778899分享：Scrapy中間件

http://yzkb.51969.com/

精彩文章