神箭手是一款功能強(qiáng)大、使用簡單的爬蟲工具、網(wǎng)頁追逐者,能快速自動抓取網(wǎng)頁內(nèi)容,為玩轉(zhuǎn)大數(shù)據(jù)的用戶提供智能化的數(shù)據(jù)收集服務(wù),比起同類軟件更高效。本站提供神箭手官方免費下載。
功能介紹
1、可以建立專屬的爬蟲系統(tǒng)。
2、可以配置網(wǎng)上的爬蟲程序。
3、可以查看爬蟲代碼示例。
4、爬蟲的數(shù)量是可以新建多個的。
5、支持API接口學(xué)習(xí)。
6、支持?jǐn)?shù)據(jù)清洗,將管理的數(shù)據(jù)清除。
7、顯示代碼庫,找到需要的代碼內(nèi)容。
8、提供分布式存儲在云服務(wù)器。
9、支持自定義爬蟲程序。
使用方法
1、登錄神箭手客戶端
打開安裝好的神箭手客戶端,輸入神箭手賬號和密碼,登錄進(jìn)入控制臺;
2、創(chuàng)建點選模式的爬蟲
點擊“新建應(yīng)用”》選擇“爬蟲”,點擊“下一步”》選擇“自己開發(fā)”》選擇“點選模式”,輸入爬蟲名稱,點擊“創(chuàng)建”;
3、點選要爬取的數(shù)據(jù)
打開創(chuàng)建的爬蟲,進(jìn)入打開點選面板;
在點選面板中,進(jìn)行點選操作;
首先,輸入一個包含所需數(shù)據(jù)的url(比如 https://www.leiphone.com/news/201712/WxtDEEQEXXDZLYev.html ),回車加載顯示內(nèi)容;
然后,在顯示的網(wǎng)頁內(nèi)容中,點擊選擇要采集的數(shù)據(jù),比如選擇采集文章的標(biāo)題和內(nèi)容;
點擊左側(cè)的高級設(shè)置,可以設(shè)置爬蟲的列表頁、內(nèi)容頁url正則表達(dá)式、是否自動JS渲染等,提高爬蟲效率;
4、啟動爬蟲
完成點選后,點擊開始爬取,稍等一會,爬蟲就會自動開始運行了。