358
站點抓取異常查詢工具
一、站點抓取異常存在的幾種情況
1、典型的抓取異常情況
情況一：404頁麵
協議死鏈，用戶已無法訪問該頁麵內容，建議通過百度站長平台--死鏈工具提交死鏈的方式進行處理，以便搜索引擎更快地發現死鏈，減少死鏈對用戶以及搜索引擎造成的負麵影響。
情況二：IP禁封
限製網絡出口IP地址，禁止該IP段的使用者進行內容訪問，即為IP禁封。請檢查係統服務器是否設置了針對百度spider的IP禁封規則。
情況三：UA禁封
UA即為用戶代理（User-Agent），服務器通過UA識別訪問者的身份，當網站針對指定UA的訪問返回異常頁麵（如403，500）或跳轉到其他頁麵的情況，即為UA禁封。請檢查係統服務器是否設置了針對百度spider的UA禁封規則。
情況四：異常重定向
將網絡請求重新指向其他位置即為重定向。異常重定向指的是以下幾種情況：
1）當前該頁麵為無效頁麵（內容已刪除、死鏈等），直接跳轉到前一目錄或者首頁，百度建議站長將該無效頁麵的入口超鏈接刪除掉
2）重定向到出錯或者無效頁麵
3）重定向的跳轉超過3次，也為異常
注意：對於長時間跳轉到其他域名的情況，如網站更換域名，百度建議使用301跳轉協議進行設置。
情況五：其他
JS跳轉異常：網頁加載了百度無法識別的JS跳轉代碼，使得用戶通過搜索結果進入頁麵後發生了跳轉的情況。
針對百度ua的異常：網頁對百度UA返回不同於頁麵原內容的行為。
針對百度refer的異常：網頁針對來自百度的refer返回不同於正常內容的行為。
壓力過大引起的偶然禁封：百度會根據站點的規模，訪問量等信息，自動設定一個合理的抓取壓力。但是在異常情況下，如壓力控製失常時，服務器會根據自身負荷進行保護性的偶然封禁。這種情況下，請在返回碼中返回503(其含義是“Service Unavailable”)，這樣百度spider會過段時間再來嚐試抓取這個鏈接，如果網站已空閑，則會被成功抓取。
2、抓取異常對站點的影響
1）您明確地封禁了百度
由於您的站點承受壓力問題或者其他原因您選擇了禁止百度蜘蛛的抓取。
如果您的配置正確，並且DNS更新以後即可生效，百度的蜘蛛就不會對該頁麵進行抓取，您的網頁也不會被收錄。
2）您不知道頁麵出現抓取異常
這是很危險的！出現抓取異常若不及時解決，不僅僅會對您的站點帶來流量損失，嚴重的情況下蜘蛛還可能降低您的站點的評價，在抓取、索引、排序上都可能會受到一定程度的負麵影響。
通過百度站長平台的站點抓取異常查詢工具，可以明確的知道站點頁麵的封禁情況！
最後更新：2013-07-18 11:43:35