395 愛站SEO

愛站robots檢測工具

幾乎每個網站都有robots文件，robots文件可以規定哪些蜘蛛可以抓取網站的哪些文件，屏蔽掉不想被訪問的蜘蛛，節省資源以及避免被不必要的采集。屏蔽掉不需要被蜘蛛訪問的特定目錄，節省蜘蛛資源，把蜘蛛引導到更需要的目錄去，提高蜘蛛抓取效率，從而達到我們seo的目的。

Robots文件的好處大家都知道，但是由於沒有正確的處理好robots文件，而造成不可預計的後果，這也是經常有的事。比如小編曾經操作過一個網站，網站的博客子域名始終不收錄，無論怎麼加內鏈和外鏈，都不能收錄。後來覺得奇怪，仔細找了下原因，才知道是因為在robots裏，把這個子域名給屏蔽掉了。

可見robtos的重要性。經常對網站的robots文件進行檢測，也是非常有必要的。愛站就有這樣一個robots文件檢測工具，可以自動檢測robots文件的問題。

隻需輸入網站地址，工具會自動讀取robots文件。如果網站沒有robots，則會提示沒有。若能讀取到，則會展示robots的所有內容，並對每一條內容進行解釋，標注出有問題的內容。

最後更新：2017-01-17 09:15:33