585      小米  小米6

什麼是robots.txt

在網站建設過程中我們會有一部分內容不希望被搜索引擎抓取到或者不希望其在互聯網中出現，那麼要怎麼辦呢？我要怎麼跟搜索引擎說你不要抓取我的xx內容呢？這時候robots就派上用場了。

Robots.txt是存放於網站根目錄下用於規定搜索引擎對網站內容抓取範圍的文本文件，就這麼一句話可以解釋robots.txt是什麼，但是我們需要注意的幾點：

1.robots.txt必須存放在網站的根目錄下。

2.其命名必須為robots.txt

3.Robots.txt是搜索引擎訪問網站的第一個頁麵

4.Robots.txt中必須指明user-agent

以上是關於什麼是robots的說明，如果你想了解robots要多久生效，可以查看：https://seo.aizhan.com/qa/92.html

最後更新：2017-01-17 09:15:54

  上一篇： seo蜘蛛是什麼

  下一篇： 加入百度和 Google網站聯盟，有幫助嗎？