139
gooseeker集搜客
爬蟲管理——規則羅盤
爬蟲群多線程並發,是非常高效的采集模式,但不少人不知道怎麼看各個規則的采集情況,規則羅盤就是用來跟蹤爬蟲群所調用規則的采集狀態,它能讓您輕鬆掌握整個爬蟲群的采集動態
1、功能入口
登錄集搜客的會員中心,逐層點擊菜單“爬蟲管理”->“爬蟲首頁”,就會看到規則羅盤,如果是空白的,說明您還沒有使用過爬蟲群,您可以先對規則設置調度,再運行爬蟲群采集,操作參見如何開啟爬蟲群采數據
2、使用方法
想要采集哪個規則,就點擊它的調度按鈕,設置好爬蟲參數後,再啟動爬蟲群采數據,規則羅盤就會跟蹤這個規則的采集情況。操作參見如何開啟爬蟲群采數據
不想爬蟲群再采集某個規則,可以點擊羅盤上的移出按鈕,或者是在規則管理中點擊停止按鈕
3、特點
- 實時監測規則采集進度:根據有線索和無線索兩種顏色標記可以知道規則是否完成,另外,失敗線索的情況和導出的數據量也是一目了然。
- 可異地下載最新數據:點擊導出數據可以到雲存儲中輸出最新入庫的數據,不會重複導出,另外還可以在曆史記錄中重複下載。
- 遠程管理爬蟲群運行:點擊調度設置可以對該規則重新設置爬蟲參數,實時控製爬蟲群調用該規則的采集速度、翻頁數量、最大的爬蟲數、是否激活線索等等。
若有疑問可以或

最後更新:2017-01-09 14:08:11