自有編程爬蟲腳本采集，是指通過爬蟲程序自動(dòng)抓取亞馬遜平臺(tái)的數(shù)據(jù)，屬于技術(shù)性的數(shù)據(jù)采集方式。

這里只是對(duì)這類數(shù)據(jù)采集方式做一個(gè)基礎(chǔ)性的介紹，不會(huì)對(duì)IT 編程類相關(guān)的內(nèi)容做過多講述，感興趣的讀者可以自行查閱相關(guān)資料。

自有編程爬蟲腳本采集主要應(yīng)用于量級(jí)大、重復(fù)性高的數(shù)據(jù)采集工作，比如競爭對(duì)手listing的數(shù)據(jù)監(jiān)控、數(shù)據(jù)化選品等。

首先下載爬蟲程序“rank”，這是一個(gè)可執(zhí)行文件即“EXE File”，在合適的運(yùn)行條件下雙擊即可開啟爬蟲程序。

注意，在桌面運(yùn)行該BXE文件時(shí)，需要確保在桌面上已經(jīng)存在有命名為“rank”的Excel表格，其表格的具體使用方法如下:創(chuàng)建一個(gè)名為rank的Excel表，其文件可以為xls或xlsx格式，并保證表格與exe文件在同一路徑下，運(yùn)營者可以將Excel表格與EXE文件一起存放于桌面上。

表格的第-列輸入需要提取排名的商品頁面網(wǎng)址，然后關(guān)閉Excel表(表格打開時(shí)將無法存取數(shù)據(jù)此時(shí)將會(huì)彈出一個(gè)關(guān)閉提示)，打開EXE程序，處理每個(gè)數(shù)據(jù)需要5~8秒，所有數(shù)據(jù)完成以后會(huì)彈出提示，因此打開文件后等待提示彈出即可，等待期間不要打開Excel表格完成后的數(shù)據(jù)將以rank.xls文件存在，如果原始文件格式為rank.xlsx，則會(huì)新建一個(gè)rank.xls文件。

完成所有文件的下載后，即可嘗試使用爬蟲程序，因?yàn)樵谠砀裰幸呀?jīng)存放有部分鏈接，所以可以直接雙擊“rank”的EXE文件開啟爬蟲程序。

需要注意的是，爬蟲程序開始后，名為“rank”的Excel文件必須處于關(guān)閉狀態(tài)，否則會(huì)彈出請(qǐng)先關(guān)閉excel文件的警告頁面。

因?yàn)槌跏糆xcel表格中已經(jīng)記錄了100個(gè)亞馬遜鏈接，所以當(dāng)爬蟲程序啟動(dòng)后，需要等待10~20分鐘，當(dāng)數(shù)據(jù)爬取全部完成后，彈出已完成總計(jì)100條數(shù)據(jù)的提示頁面。

當(dāng)數(shù)據(jù)抓取任務(wù)全部完成后，打開名為“rank”的Excel文件。

名為“rank”的Excel表中主要存放了三種數(shù)據(jù)，第一種為亞馬遜商品鏈接，第二種為該鏈接對(duì)應(yīng)的大類目排名，第三種為數(shù)據(jù)抓取時(shí)間。

名為“rank”的Excel表中主要存放了三種數(shù)據(jù)，第一種為亞馬遜商品鏈接，第二種為該鏈接對(duì)應(yīng)的大類目排名，第三種為數(shù)據(jù)抓取時(shí)間。

在大類目排名數(shù)據(jù)中，有些數(shù)據(jù)會(huì)顯示“-1”。

“-1”的數(shù)據(jù)抓取錯(cuò)誤可能是由以下幾方面原因造成的。

1爬蟲程序使用過于頻繁，網(wǎng)絡(luò)IP暫時(shí)被封禁。

2該商品鏈接還未出單，沒有對(duì)應(yīng)的大類目排名。

3該商品不是非標(biāo)品，其數(shù)據(jù)抓取邏輯與爬蟲程序不一致;4程序運(yùn)行錯(cuò)誤，這可能是由于操作系統(tǒng)不匹配(如OS系統(tǒng)、XP系統(tǒng))，網(wǎng)絡(luò)故障造成的。

在名為“rank”的Excel表中，第三列為此次數(shù)據(jù)抓取的時(shí)間。

如果運(yùn)營者需要記錄其他商品鏈接的排名，可以將Excel文件中第一列的鏈接信息進(jìn)行修改，然后再次啟動(dòng)爬蟲程序等待抓取工作完成即可。

需要注意的是，爬蟲程序如果在短時(shí)間內(nèi)頻繁使用會(huì)被亞馬遜暫時(shí)封禁網(wǎng)絡(luò)IP，這時(shí)爬取下來的排名數(shù)據(jù)會(huì)出現(xiàn)大量的“-1”，所以在使用過一次爬蟲程序后，需要等待-段時(shí)間，才能開始下一次數(shù)據(jù)抓取。