柚子快報(bào)邀請(qǐng)碼778899分享：部署Scrapy

http://yzkb.51969.com/

部署蜘蛛

部署蜘蛛以定期運(yùn)行它們的不同選項(xiàng)。在您的本地機(jī)器中運(yùn)行 Scrapy 蜘蛛對(duì)于（早期）開發(fā)階段非常方便，但是當(dāng)您需要執(zhí)行長(zhǎng)時(shí)間運(yùn)行的蜘蛛或移動(dòng)蜘蛛以在生產(chǎn)中連續(xù)運(yùn)行時(shí)，就不那么方便了。這就是部署報(bào)廢蜘蛛的解決方案。

部署報(bào)廢蜘蛛的常見選擇是：

Scrapyd（開放源代碼）Zyte Scrapy Cloud(基于云)

部署到ScrapyD服務(wù)器

Scrapyd 是一個(gè)開放源碼的應(yīng)用程序，可以運(yùn)行 Scrapy 蜘蛛。它為服務(wù)器提供了HTTP API，能夠運(yùn)行和監(jiān)視 Scrapy 蜘蛛。

要將spiders部署到scrapyD，可以使用由提供的scrapyD部署工具 scrapyd-client 包裹。請(qǐng)參閱 scrapyd-deploy documentation 更多信息。

ScrapyD由一些Scrapy開發(fā)人員維護(hù)。

部署到Zyte Scrapy Cloud

Zyte Scrapy Cloud 是一項(xiàng)托管的基于云的服務(wù)，由 Zyte, Scrapy背后的公司。

Zyte Scrapy Cloud消除了設(shè)置和監(jiān)控服務(wù)器的需要，并提供了一個(gè)不錯(cuò)的UI來管理蜘蛛并查看抓取的項(xiàng)目、日志和統(tǒng)計(jì)數(shù)據(jù)。

要將爬行器部署到Zyte Scrapy Cloud，可以使用 shub 命令行工具。請(qǐng)參閱 Zyte Scrapy Cloud documentation 了解更多信息。

Zyte Scrapy Cloud與Scrapyd兼容，用戶可以根據(jù)需要在它們之間切換-配置從 scrapy.cfg 文件就像 scrapyd-deploy 。

柚子快報(bào)邀請(qǐng)碼778899分享：部署Scrapy

http://yzkb.51969.com/

參考文章