柚子快報激活碼778899分享：爬蟲scrapy庫精簡使用大全

http://yzkb.51969.com/

一、基本命令

創(chuàng)建項目

scrapy startproject myapp

創(chuàng)建爬蟲文件

scrapy genspider spider_name "https://www.baidu.com"

運行爬蟲文件

scrapy crawl spider_name

# scrapy crawl spider_name --nolog # 不打印日志

一、使用代理ip

打開中間件middlewares.py，增加以下代碼

class ProxyMiddleware:

def process_request(self, request, spider):

# ip = random.choice(self.ip)

request.meta['Proxy'] = "http://127.0.0.1:7890"

打開setting.py激活上面增加的類

DOWNLOADER_MIDDLEWARES = {

'myproject.middlewares.ProxyMiddleware': 543,

}

柚子快報激活碼778899分享：爬蟲scrapy庫精簡使用大全

http://yzkb.51969.com/

文章來源