436 愛站SEO工具包

Firefox使用User Agent Switcher插件模擬百度等搜索引擎蜘蛛抓取頁麵

通過User Agent Switcher插件修改瀏覽器User Agent，可以快速讓瀏覽器偽裝模擬成baidu、google等搜索引擎蜘蛛訪問頁麵抓取信息，有助於幫助站長快速了解網站頁麵能否被搜索引擎蜘蛛住區。

插件默認自帶了google、yahoo、msn爬蟲的User Agent，當然這些都是國外比較常見的搜索引擎爬蟲，若需要模擬國內搜索引擎爬蟲則需要自行手動添加，這裏為大家附上幾個比較常見的國內搜索引擎spider的User Agent：

Baiduspider：

Mozilla/5.0+(compatible;+Baiduspider/2.0;++https://www.baidu.com/search/spider.html)

360Spider：

Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider

Sogouspider：

Sogou+web+spider/4.0(+https://www.sogou.com/docs/help/webmasters.htm#07)

模擬搜索引擎抓取實現方法：

下載安裝User Agent Switcher：

安裝完後重啟Firefox瀏覽器。

打開User Agent Switcher設置麵板

點擊你要添加的分組然後點擊New User Agent…

輸入User Agent信息然後點擊確定

然後選擇你要模擬的的User Agent

選擇後刷新頁麵即可

最後更新：2016-12-29 14:33:21