635
愛站SEO工具包
怎樣解決robots.txt文件存在的限製指令
當你查看一個網站快照時，很多時候是不是會遇到這樣的一個提示“由於該網站的robots.txt文件存在限製指令，係統無法提供該頁麵的內容描述？這是不是搜索引擎的抓取問題？不是的，這是由於網站重新上線時的一個屏蔽操作導致的，前幾天在診斷一個網站就發現了是robots的問題，關於如何解決,以下會說到，現在先分析為什麼會產生這種現象：
出現robots.txt文件存在限製指令的快照，是因為網站上線前或者測試的時候，網站的內容、標題都還要不斷的進行修改，為了不讓搜索引擎抓取到頻繁的修改，所以在robots.txt上做了屏蔽搜索引擎的收錄，即disallow:/的限製，seven平時也有這個習慣，在一個網站正式上線前，都會做全站屏蔽；網站正式上線後，加以外鏈、友鏈和提交的引導，搜索引擎的蜘蛛過來抓取頁麵，發現地址存在，但是被屏蔽了抓取，為了遵循互聯網的抓取規則，不得已快照上隻能顯示這句提示，“由於該網站的robots.txt文件存在限製指令，係統無法提供該頁麵的內容描述”，這是產生的緣由。
那麼怎樣解決robots.txt文件存在的限製指令呢？
1、找到根目錄下的robots.txt文件，去掉這一句disallow:/，解除屏蔽抓取；
2、下麵一步很關鍵，就是到站長平台下去更新robots文件，告訴搜索引擎你的網站已經對它解除了屏蔽，可以來抓取我的網頁內容了，主動對搜索引擎示好，快照更新過來之後，現象就會消失了。
在優化過種中一個很小的細節就會讓你的工作變得非常的麻煩，robots.txt是網站上線後必須檢查的文件，要不然連抓取都被屏蔽了，很難談以後的抓取和收錄了。還有一點就是百度更新的有點慢，雖然解除了屏蔽，但還是要過一段時間才收錄，這段時間千萬別懷疑自己而把文件改來改去。
最後更新：2016-12-29 14:33:17