模擬百度蜘蛛的抓取頁麵

現在的很多工具都可以模擬百度蜘蛛的抓取頁麵。

一般模擬蜘蛛的抓取網頁是：蜘蛛抓取第一個網頁，然後過濾得到網頁內的有效鏈接形成一個列表，然後在遍曆列表內的鏈接，先檢查是否抓過，如果沒抓過就進行抓取，抓取的過程與第一個網頁一樣，獲得到列表後在抓第二個頁麵，依次類推，中間會檢查頁麵是否被抓取過，如果被抓取過則對該頁麵加分。這個分值便是最後的 PR 值。

像我們“愛站SEO工具包”中就有“搜索引擎模擬抓取頁麵”這個功能。