欧美free性护士vide0shd,老熟女,一区二区三区,久久久久夜夜夜精品国产,久久久久久综合网天天,欧美成人护士h版

目錄

在Scrapy 2.6.2中,如何同時保留代理和刪除Proxy-Authorization? scrapy schedule

在Scrapy 2.6.2中,可以通過設(shè)置DOWNLOAD_DELAYDOWNLOAD_TIMEOUT來同時保留代理和刪除Proxy-Authorization。

需要在settings.py文件中添加以下代碼:

DOWNLOAD_DELAY = 10
DOWNLOAD_TIMEOUT = 30

這將設(shè)置下載延遲為10秒,下載超時時間為30秒。這樣,即使設(shè)置了代理,Scrapy也會等待10秒后繼續(xù)下載,直到代理失效或超時。

要刪除Proxy-Authorization,可以在middlewares.py文件中添加以下代碼:

class RemoveProxyAuthorizationMiddleware(object):
    def process_request(self, request, spider):
        if 'proxy' in request.meta:
            request.meta['proxy'] = None
        return super().process_request(request, spider)

這將在每個請求處理過程中檢查是否包含代理信息,如果包含,則將其設(shè)置為None。這樣,代理信息將被刪除。

本文內(nèi)容根據(jù)網(wǎng)絡(luò)資料整理,出于傳遞更多信息之目的,不代表金鑰匙跨境贊同其觀點和立場。

轉(zhuǎn)載請注明,如有侵權(quán),聯(lián)系刪除。

本文鏈接:http://gantiao.com.cn/post/2027679055.html

發(fā)布評論

您暫未設(shè)置收款碼

請在主題配置——文章設(shè)置里上傳

掃描二維碼手機(jī)訪問

文章目錄