柚子快報邀請碼778899分享：部署Scrapy

http://yzkb.51969.com/

部署蜘蛛

部署蜘蛛以定期運行它們的不同選項。在您的本地機器中運行 Scrapy 蜘蛛對于（早期）開發(fā)階段非常方便，但是當您需要執(zhí)行長時間運行的蜘蛛或移動蜘蛛以在生產(chǎn)中連續(xù)運行時，就不那么方便了。這就是部署報廢蜘蛛的解決方案。

部署報廢蜘蛛的常見選擇是：

Scrapyd（開放源代碼）Zyte Scrapy Cloud(基于云)

部署到ScrapyD服務器

Scrapyd 是一個開放源碼的應用程序，可以運行 Scrapy 蜘蛛。它為服務器提供了HTTP API，能夠運行和監(jiān)視 Scrapy 蜘蛛。

要將spiders部署到scrapyD，可以使用由提供的scrapyD部署工具 scrapyd-client 包裹。請參閱 scrapyd-deploy documentation 更多信息。

ScrapyD由一些Scrapy開發(fā)人員維護。

部署到Zyte Scrapy Cloud

Zyte Scrapy Cloud 是一項托管的基于云的服務，由 Zyte, Scrapy背后的公司。

Zyte Scrapy Cloud消除了設置和監(jiān)控服務器的需要，并提供了一個不錯的UI來管理蜘蛛并查看抓取的項目、日志和統(tǒng)計數(shù)據(jù)。

要將爬行器部署到Zyte Scrapy Cloud，可以使用 shub 命令行工具。請參閱 Zyte Scrapy Cloud documentation 了解更多信息。

Zyte Scrapy Cloud與Scrapyd兼容，用戶可以根據(jù)需要在它們之間切換-配置從 scrapy.cfg 文件就像 scrapyd-deploy 。

柚子快報邀請碼778899分享：部署Scrapy

http://yzkb.51969.com/

參考文章