591 愛站SEO

Robots生效要多久？

　　有時候我們建站前期忘記寫robots.txt文件了，很多我們不想讓搜索引擎收錄的內容卻被收錄了，這個時候會發現好像過了很長時間我們不想讓收錄的頁麵還是處於被收錄的狀態，到底robots生效要多久呢？

　　百度lee曾在公開場合說過：不同的站點略有不同，但通常在幾天內陸續生效。

　　其實我們可以假想下robots生效的過程：

　　1.蜘蛛發現robots文件修改並將信息傳回

　　2.分析修改前後的robots文件

　　3.刪除不允許被收錄的索引數據

　　這個過程中肯能還會存在其他的一些步驟，然而由於每個網站蜘蛛爬的頻率和網站的權重不同（網站的重要性）而導致蜘蛛發現robots更改的時間延時或者被處理的優先性不同，最終導致的結果就是robots的生效時間不同。

　　通過以上分析我們可以得出robots的生效時間並不是一定的，如果你的robots更改後很久都沒有生效的話，可以去這裏投訴：tousu.baidu.com

最後更新：2017-01-17 09:15:31