阅读928 返回首页    go 火车采集器


关于部分服务器Head方法无法探测文件功能的解决办法

关于部分服务器Head方法无法探测文件功能的解决办法

作者:小文 发布于:2012-6-1 9:31 Friday 分类:常见问题

火车采集器在探测文件真实地址过程中,会使用head方法请求下载地址,如果对方服务器返回禁止,程序会使用get方法去下载并探测下载地址,如果对方服务器返回200但是结果是错误的,采集器就可能无法获取到真实的下载地址。对于此情况,需要设置一个全局参数来对该网站只使用get探测文件地址方法。处理办法是

1.火车采集器升级到7.4.6.1版本

2.使用fiddler分析一下采集器探测下载的网址,提取网址中的域名。如www.locoy.com

3. 打开Configuration目录下的FileDetect.txt文件,如果没有,请新建一个.在打开的文件中输入域名 www.locoy.com ,如果是多个域名,每行一个。记得在文件的最后边再输入一个换行。保存文件。

4.重启采集器,即可以正常使用。

标签: 探测

相关日志:

新建任务在站点上不显示的问题

关于部分用户一直提示注册电脑的问题的处理办法

无法定位到动态什么库的解决办法

"XXX站点创建失败"的解决办法

如何在入库模块中添加null值

« E商统计预览版 | 将自己的数据导入采集数据库让采集器发布数据»

评论:

吉安
2012-10-10 15:43
感觉挺纠结的呀
孕妇奶粉牌子
2012-06-21 15:41
好东东,感谢分享

发表评论:

最后更新:2017-05-09 01:05:59

  上一篇:go 火车头数据采集平台二次开发SDK
  下一篇:go 火车采集器v7新浪博客文章发布模块(适合v7.7以前V7版本)