982
織夢DedeCMS
采集功能的使用方法 --- 圖片集(一)_織夢CMS幫助中心
Dedecms采集功能的使用方法 --- 圖片集(一)
前言:這篇文章主要是介紹如何使用采集功能去采集一個圖片類的網站。這次選取的目標站點為:站酷網的佳作欣賞欄目,其URL為:https://www.zcool.com.cn/shows/。本文將會涉及到如何處理被采集頁麵含有分頁以及如何使用簡單的過濾規則。本文共分為三節:第一節,主要是介紹如何進入采集界麵和新增采集節點中的第一步:設置基本信息及網址索引頁規則;第二節,主要是介紹新增采集節點中的第二步:設置字段獲取規則;第三節,主要是介紹如何采集指定節點和如何導出采集內容。
下麵進入第一節。
1.1進入采集節點管理界麵
如(圖1)所示,在後台管理界麵的主菜單中單擊“采集”,然後單擊“采集節點管理”,即可進入采集節點管理界麵,如(圖2)所示。
圖1-後台管理界麵
圖2-采集節點管理界麵
1.2. 增加新節點
在采集節點管理界麵中,單擊左下角的“增加新節點”或者右上角的“添加新節點”(如圖2),都可進入“選擇內容模型”界麵,如(圖3)所示,
圖3-選擇內容模型界麵
在“選擇內容模型”界麵的下拉列表框中,有“普通文章”和“圖片集”可供選擇。
根據被采集頁麵的類型,選擇相應的內容模型。本文這裏選擇“圖片集”,單擊確定後,便可進入“新增采集節點:第一步設置基本信息及網址索引頁規則”界麵,如(圖4)所示,
圖4-新增采集節點:第一步設置基本信息及網址索引頁規則
1.2.1 設置節點基本信息
圖5-節點基本信息
如(圖5)所示,這裏隻是介紹如何獲取“目標頁麵編碼”,對於其他的設定,可參見之前的文章。具體操作步驟:
(a)打開被采集的目標頁:https://www.zcool.com.cn/shows/;
(b)單擊右鍵後選擇“查看源文件”,找到“charset”, 如(圖6)所示,
圖6-查看源文件
其等號後麵的代碼就是所需填寫的“編碼格式”,這裏是“utf-8”。
填寫後,如(圖7)所示,
圖7-設置後的節點基本信息
檢查無誤後,進入下一步設置。
1.2.2 設置列表網址獲取規則
圖8-列表網址獲取規則
如(圖8)所示,這裏是設置被采集的文章列表頁的匹配規則。具體操作步驟:
(a)首先,回到已打開的列表頁,找到瀏覽器的URL地址欄中顯示的網址和頁麵的換頁部分。如(圖9)和(圖10)所示,
圖9-瀏覽器的URL地址欄
圖10-換頁
(b)單擊“2”,打開文章列表頁的第二頁,再次找到瀏覽器的URL地址欄中所顯示的網址和頁麵的換頁部分,如(圖12)和(圖13)所示,
圖11-第二頁的網址
圖12-第二頁的換頁
(c)在已打開的列表頁的第二頁上麵,單擊(1),回到列表頁的首頁,這時頁麵的換頁部分與之前的圖10是相同的,然而瀏覽器的URL地址欄中所顯示的網址與之前圖9並不相同,如(圖13)所示,
圖13-第一頁的網址
(d)由(b)和(c)可推知,這裏被采集的列表頁的網址所遵循規律為:
https://www.zcool.com.cn/shows/0!0!0!200!(*)!1!0!0/。穩妥起見,請自行測試更多列表頁。確定規律後,在“匹配網址”中,填入列表頁所遵循的規律。
(e)最後,根據需要指定采集的頁碼或者規律數字,並設定其遞增規律。
到這裏,“列表網址獲取規則”部分就設置結束了。最後結果,如(圖14)所示,
圖14-設置後的列表網址獲取規則
確定正確後,進入下一步設置。
1.2.3設置文章網址匹配規則
圖15-文章網址匹配規則
這裏是設置被采集的列表頁的匹配規則。
具體操作步驟:
(a)對於“區域開始的HTML”,可以在已打開的列表首頁,單擊右鍵後選擇“查看源文件”查找出第一篇文章的標題“高清壁紙”來獲得,如(圖16)所示,
圖16-查看源文件中,第一篇文章的標題
通過觀察,不難看出“<ul class="list_left_nr">”為整個列表的開始部分。因此,在“區域開始的HTML”中,應填入“<ul class="list_left_nr">”。
(b)在源文件中,找到最後一篇文章標題“阿奴比斯”,如(圖17)所示,
圖17-查看源文件中,最後一篇文章的標題
結合列表的開始部分並通過觀察可知,第一個“</ul>”為整個列表的結束部分,而其後的從“<ul class=”list_left_bottomw”>”到第二個“</ul>”,則為頁麵的換頁部分。因此,在“區域結束的HTML”中,應填入”</ul>”,意思是到第一個</ul>結束。
(c)經過觀察圖16和圖17的文章標題部分,可以發現,標題的鏈接地址都是含有“=.html”的。因此,可在“必須包含”中,填入“=.html”。
到這裏,“文章網址匹配規則“就設置結束了。填寫後,如(圖18)所示,
圖18-設置後的文章網址匹配規則
通過以上的三個小節,新增采集節點的第一步就已經設置完成了。設置後的最終結果,如(圖19)所示,
圖19-設置後的新增采集節點:第一步設置基本信息及網址索引頁規則
全部完成並檢查無誤後,單擊“保存信息並進入下一步設置“。如果之前設置正確,單擊後,將會進入“新增采集節點:測試基本信息及網址索引頁規則設置的網址獲取規則測試”頁麵並看到相應的文章列表地址。如(圖20)所示,
圖20-網址獲取規則測試
確定正確無誤後,單擊“保存信息並進入下一步設置”。否則,請單擊“返回上一步進行修改“。
到這裏,第一節就結束了。下麵進入第二節。。。
最後更新:2016-12-29 14:26:05