575
織夢DedeCMS
采集功能的使用方法 --- 含有分頁的普通文章之一_織夢CMS幫助中心
Dedecms采集功能的使用方法 --- 含有分頁的普通文章（一）
前言：這篇文章是Dedecms采集功能使用方法的第二篇，主要目的是采集含有分頁的普通文章，並使用簡單的過濾規則。這次選取的目標站點是中國網管聯盟網絡技術頻道的網絡協議欄目，網址是“https://www.bitscn.com/network/protocol/”。本文共分為三節，第一節，主要是介紹新增采集節點中的第一步：設置基本信息及網址索引頁規則；第二節，主要是介紹新增采集節點中的第二步：設置字段獲取規則；第三節，主要是介紹如何采集指定節點和如何導出采集內容。對於編寫采集規則中一些基本的操作，本文將一帶而過或不再涉及，如有疑問可參見文章“Dedecms采集功能的使用方法 --- 不含分頁的普通文章的采集”。
下麵進入第一節。
1.1 設置基本信息及網址索引頁規則
建立一個新的普通文章型節點，並進入“新增采集節點：第一步設置基本信息及網址索引頁規則”如（圖1）所示，
圖1-新增采集節點：第一步設置基本信息及網址索引頁規則
1.1.1 設置節點基本信息
圖2-節點基本信息
首先，定義節點名稱為“采集測試（二）”。其次，查找目標頁麵編碼。其操作步驟為：
（a）打開被采集的目標頁：https://www.bitscn.com/network/protocol/；
（b）單擊右鍵後選擇“查看源文件”，找到“charset”， 如（圖3）所示，
圖3-查看源文件
其等號後麵的代碼就是所需的“編碼格式”，這裏是“gb2312”。對於“區域匹配模式”、“內容導入順序”和“防盜鏈模式”，均使用默認值。
引用網址：可以選取在文章列表裏出現的任意一個文章頁的網址。方便起見，一般是填入文章列表中第一篇文章的網址，但是由於第一篇文章沒有涉及到分頁內容，為了展示如何采集分頁文章，這裏使用第二篇文章作為引用網址。其網址為：“https://www.bitscn.com/network/protocol/201105/193110.html”。設置後的節點基本信息，如（圖4）所示，
圖4-設置後的節點基本信息
檢查無誤後，進入下一步設置。
1.1.2 設置列表網址獲取規則
如（圖5）所示，
圖5-列表網址獲取規則
這裏是設置被采集的文章列表頁的匹配規則的，也是本節的重點和難點。
具體操作步驟：
（a）首先，回到已打開的文章列表頁，這時瀏覽器的URL地址欄中顯示的網址，如（圖6）所示，
圖6-列表首頁的網址
（b）找到文章列表頁的換頁部分，把鼠標放在各個頁碼上麵，同時觀察其URL的變化規律。可以得出，網址的匹配規律為：“https://www.bitscn.com/network/protocol/list_(*).html“。因此，在“匹配網址”中，應填入“https://www.bitscn.com/network/protocol/list_(*).html”，為了能夠快速演示采集過程，這裏設定頁麵是從1開始到1結束，也就是說隻采集第一頁。
設置後的 “列表網址獲取規則”，如（圖7）所示，
圖7-設置後的列表網址獲取規則
檢查無誤後，進入下一步設置。
1.1.3 設置文章網址匹配規則
如（圖8）所示，
圖8-文章網址匹配規則
這裏是設置被采集文章列表頁的匹配規則。
具體操作步驟：
（a）對於“區域開始的HTML”，可通過在打開的文章列表首頁上，單擊右鍵後選擇“查看源文件”。在源文件中，找到第一篇文章的標題“OpenFlow網絡是空談嗎？”，如（圖9）所示，
圖9-查看源文件中，第一篇文章的標題
通過觀察源文件，不難看出“<div class="list-cc">”為整個文章列表的開始部分。因此，在“區域開始的HTML”中，填入“<div class="list-cc">”。
（b）在源文件中，找到最後一篇文章標題“認識多重PPP鏈接協議”，如（圖10）所示，
圖10-查看源文件中，最後一篇文章的標題
結合文章列表的開始部分並通過觀察可知，“</div>”為整個文章列表的結束部分。因此，在“區域結束的HTML”中，應填入”</div>”。
設置結束後的“文章網址匹配規則“， 如（圖11）所示，
圖11-設置後的文章網址匹配規則
通過1.1.1小節、1.1.2小節和1.1.3小節，新增采集節點的第一步就已經設置完成了。設置後的結果，如（圖12）所示，
圖12-設置後的新增采集節點：第一步設置基本信息及網址索引頁規則
全部完成並檢查無誤後，單擊“保存信息並進入下一步設置“。如果之前設置正確，單擊後，將會進入“新增采集節點：測試基本信息及網址索引頁規則設置的網址獲取規則測試”頁麵並看到相應的文章列表地址。如（圖13）所示，
圖13-網址獲取規則測試
確定正確無誤後，單擊“保存信息並進入下一步設置”。否則，請單擊“返回上一步進行修改“。
到這裏，第一節就結束了。下麵進入第二節。。。
最後更新：2016-12-29 14:26:05