在Scrapy 2.6.2中,如何同時保留代理和刪除Proxy-Authorization? scrapy schedule
Asosmarketplace時尚前沿跨境問答2025-06-192260
在Scrapy 2.6.2中,可以通過設(shè)置DOWNLOAD_DELAY
和DOWNLOAD_TIMEOUT
來同時保留代理和刪除Proxy-Authorization。
需要在settings.py文件中添加以下代碼:
DOWNLOAD_DELAY = 10
DOWNLOAD_TIMEOUT = 30
這將設(shè)置下載延遲為10秒,下載超時時間為30秒。這樣,即使設(shè)置了代理,Scrapy也會等待10秒后繼續(xù)下載,直到代理失效或超時。
要刪除Proxy-Authorization,可以在middlewares.py文件中添加以下代碼:
class RemoveProxyAuthorizationMiddleware(object):
def process_request(self, request, spider):
if 'proxy' in request.meta:
request.meta['proxy'] = None
return super().process_request(request, spider)
這將在每個請求處理過程中檢查是否包含代理信息,如果包含,則將其設(shè)置為None。這樣,代理信息將被刪除。
本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點和立場。
轉(zhuǎn)載請注明,如有侵權(quán),聯(lián)系刪除。