閱讀139 返回首頁    go gooseeker集搜客


爬蟲管理——規則羅盤

爬蟲群多線程並發,是非常高效的采集模式,但不少人不知道怎麼看各個規則的采集情況,規則羅盤就是用來跟蹤爬蟲群所調用規則的采集狀態,它能讓您輕鬆掌握整個爬蟲群的采集動態

1、功能入口

登錄集搜客的會員中心,逐層點擊菜單“爬蟲管理”->“爬蟲首頁”,就會看到規則羅盤,如果是空白的,說明您還沒有使用過爬蟲群,您可以先對規則設置調度,再運行爬蟲群采集,操作參見如何開啟爬蟲群采數據


2、使用方法

想要采集哪個規則,就點擊它的調度按鈕,設置好爬蟲參數後,再啟動爬蟲群采數據,規則羅盤就會跟蹤這個規則的采集情況。操作參見如何開啟爬蟲群采數據

不想爬蟲群再采集某個規則,可以點擊羅盤上的移出按鈕,或者是在規則管理中點擊停止按鈕

3、特點

  • 實時監測規則采集進度:根據有線索和無線索兩種顏色標記可以知道規則是否完成,另外,失敗線索的情況和導出的數據量也是一目了然。
  • 可異地下載最新數據:點擊導出數據可以到雲存儲中輸出最新入庫的數據,不會重複導出,另外還可以在曆史記錄中重複下載。
  • 遠程管理爬蟲群運行:點擊調度設置可以對該規則重新設置爬蟲參數,實時控製爬蟲群調用該規則的采集速度、翻頁數量、最大的爬蟲數、是否激活線索等等。

若有疑問可以或集搜客網絡爬蟲

最後更新:2017-01-09 14:08:11

  上一篇:go 用數據DIY自動獲取數據【第39期】
  下一篇:go 采集圖片網址並下載圖片——以途牛旅遊網為例