閱讀928 返回首頁    go 火車采集器


關於部分服務器Head方法無法探測文件功能的解決辦法

關於部分服務器Head方法無法探測文件功能的解決辦法

作者:小文 發布於:2012-6-1 9:31 Friday 分類:常見問題

火車采集器在探測文件真實地址過程中,會使用head方法請求下載地址,如果對方服務器返回禁止,程序會使用get方法去下載並探測下載地址,如果對方服務器返回200但是結果是錯誤的,采集器就可能無法獲取到真實的下載地址。對於此情況,需要設置一個全局參數來對該網站隻使用get探測文件地址方法。處理辦法是

1.火車采集器升級到7.4.6.1版本

2.使用fiddler分析一下采集器探測下載的網址,提取網址中的域名。如www.locoy.com

3. 打開Configuration目錄下的FileDetect.txt文件,如果沒有,請新建一個.在打開的文件中輸入域名 www.locoy.com ,如果是多個域名,每行一個。記得在文件的最後邊再輸入一個換行。保存文件。

4.重啟采集器,即可以正常使用。

標簽: 探測

相關日誌:

新建任務在站點上不顯示的問題

關於部分用戶一直提示注冊電腦的問題的處理辦法

無法定位到動態什麼庫的解決辦法

"XXX站點創建失敗"的解決辦法

如何在入庫模塊中添加null值

« E商統計預覽版 | 將自己的數據導入采集數據庫讓采集器發布數據»

評論:

吉安
2012-10-10 15:43
感覺挺糾結的呀
孕婦奶粉牌子
2012-06-21 15:41
好東東,感謝分享

發表評論:

最後更新:2017-05-09 01:05:59

  上一篇:go 火車頭數據采集平台二次開發SDK
  下一篇:go 火車采集器v7新浪博客文章發布模塊(適合v7.7以前V7版本)