閱讀922 返回首頁    go 火車采集器


網頁圖片采集器FTP/SFTP文件上傳

網頁圖片采集器FTP/SFTP文件上傳

作者:dong 發布於:2016-5-11 14:42 Wednesday 分類:官方公告

 
   我們在使用網頁圖片采集器的過程中,有時還需要將采集到的圖片文件上傳,以火車采集器V9為例,為大家講解FTP/SFTP文件上傳功能。在火車采集器V9中,此項功能包含不上傳,使用FTP上傳,使用SSH上傳三種模式。用戶填寫服務器、用戶名、密碼、端口、文件上傳根目錄等信息即可。

    下麵具體講解:如何設置FTP文件上傳根目錄和文件下載路徑?我們以采集 https://www.22mm.cc/mm/jingyan/gbijcced_lelja.html為例,采集並下載它的圖片然後通過ftp設置上傳。

1)采集到圖片並下載

    據處理--文件下載--勾選下載圖片,其他不做任何設置。

1.png

下載如下:

2.png

2)分析圖片格式,設置文件保存目錄,文件保存格式,文件鏈接地址前綴

    此時需要您在您的網站上正常手工發布一條包含圖片的數據,看下圖片格式。例如其中圖片路徑是:https://www.locoy.com/images/201510/1.jpg

下麵我們來將其拆分為 ++ 三部分

頭: https://www.locoy.com/ 是網站域名;
中: images/201510/ 是文件路徑,201510是年月的意思
尾: 1.jpg 是文件名和後綴

所以:       

其他設置--文件圖片下載--文件鏈接地址前綴:設置為 https://www.locoy.com/
內容采集規則--數據處理--文件下載--文件保存目錄:設置為 images/201510/
內容采集規則--數據處理--文件下載--文件保存格式:設置為 
[原文件名]或者[自增ID]等等自定義文件名

如下圖:

3.png

此時我們需要在綠色字體前加 \ 做轉義,年月做替換,故是下圖設置效果:

4.png

3)確定FTP的路徑

用其他專業的FTP工具看我們的圖片存儲路徑,比如顯示為 /www/locoy/images/201510/ 那麼

5.png

那麼采集器FTP文件上傳根目錄,這裏寫成這樣/www/locoy/就OK 了,如下圖:

6.png

 

不要重複的把/images/201510/ 寫上,因為在內容采集規則--數據處理--文件下載--文件保存目錄設置裏,我們已經定義了路徑,軟件會自動創建對應文件夾,並識別發布,所以大家不要寫重複了。

4)測試看效果

設置完成後,我們測試看下效果:

7.png

這樣就說明設置好了,FTP上傳測試需要正式運行規則時生效。網頁圖片采集器火車采集器V9FTP文件上傳功能穩定性很好,可斷點續傳,比較適合上傳大文件或一次上傳很多文件,值得大家學習使用。


標簽: 火車采集器V9 網頁圖片采集器

相關日誌:

福利來啦:6.8折優惠碼太給力!

網頁抓取工具帶你走進大數據營銷

玩轉網頁抓取工具,2016年讓大數據更接地氣!

網頁抓取工具透析大數據生態圈技術層

網頁抓取工具助力大數據基礎建設

« 火車采集器V7V8版本無法登錄的解決辦法 | 網頁抓取工具火車采集器發布模塊製作示例»

發表評論:

最後更新:2017-05-09 01:06:03

  上一篇:go 網頁抓取工具抓取圖片時如何加減水印
  下一篇:go 網頁抓取工具:大數據營銷標配