阅读922 返回首页    go 火车采集器


网页图片采集器FTP/SFTP文件上传

网页图片采集器FTP/SFTP文件上传

作者:dong 发布于:2016-5-11 14:42 Wednesday 分类:官方公告

 
   我们在使用网页图片采集器的过程中,有时还需要将采集到的图片文件上传,以火车采集器V9为例,为大家讲解FTP/SFTP文件上传功能。在火车采集器V9中,此项功能包含不上传,使用FTP上传,使用SSH上传三种模式。用户填写服务器、用户名、密码、端口、文件上传根目录等信息即可。

    下面具体讲解:如何设置FTP文件上传根目录和文件下载路径?我们以采集 https://www.22mm.cc/mm/jingyan/gbijcced_lelja.html为例,采集并下载它的图片然后通过ftp设置上传。

1)采集到图片并下载

    据处理--文件下载--勾选下载图片,其他不做任何设置。

1.png

下载如下:

2.png

2)分析图片格式,设置文件保存目录,文件保存格式,文件链接地址前缀

    此时需要您在您的网站上正常手工发布一条包含图片的数据,看下图片格式。例如其中图片路径是:https://www.locoy.com/images/201510/1.jpg

下面我们来将其拆分为 ++ 三部分

头: https://www.locoy.com/ 是网站域名;
中: images/201510/ 是文件路径,201510是年月的意思
尾: 1.jpg 是文件名和后缀

所以:       

其他设置--文件图片下载--文件链接地址前缀:设置为 https://www.locoy.com/
内容采集规则--数据处理--文件下载--文件保存目录:设置为 images/201510/
内容采集规则--数据处理--文件下载--文件保存格式:设置为 
[原文件名]或者[自增ID]等等自定义文件名

如下图:

3.png

此时我们需要在绿色字体前加 \ 做转义,年月做替换,故是下图设置效果:

4.png

3)确定FTP的路径

用其他专业的FTP工具看我们的图片存储路径,比如显示为 /www/locoy/images/201510/ 那么

5.png

那么采集器FTP文件上传根目录,这里写成这样/www/locoy/就OK 了,如下图:

6.png

 

不要重复的把/images/201510/ 写上,因为在内容采集规则--数据处理--文件下载--文件保存目录设置里,我们已经定义了路径,软件会自动创建对应文件夹,并识别发布,所以大家不要写重复了。

4)测试看效果

设置完成后,我们测试看下效果:

7.png

这样就说明设置好了,FTP上传测试需要正式运行规则时生效。网页图片采集器火车采集器V9FTP文件上传功能稳定性很好,可断点续传,比较适合上传大文件或一次上传很多文件,值得大家学习使用。


标签: 火车采集器V9 网页图片采集器

相关日志:

福利来啦:6.8折优惠码太给力!

网页抓取工具带你走进大数据营销

玩转网页抓取工具,2016年让大数据更接地气!

网页抓取工具透析大数据生态圈技术层

网页抓取工具助力大数据基础建设

« 火车采集器V7V8版本无法登录的解决办法 | 网页抓取工具火车采集器发布模块制作示例»

发表评论:

最后更新:2017-05-09 01:06:03

  上一篇:go 网页抓取工具抓取图片时如何加减水印
  下一篇:go 网页抓取工具:大数据营销标配