403
百度網頁搜索結果robots提示上線
作者：百度站長平台 發布時間：2013年1月23日
各位網站管理員，
您之前是否遇到過百度搜索結果中個別網頁無摘要顯示的現象，或發生過網站部分內容不收錄的問題，站長平台提示您出現這兩種情況可能是由於網站設置了robots.txt文件引起的。為了能夠讓站長更方便的了解網站頁麵在出現上述問題時是否是由於設置了robots文件，百度網頁搜索結果中上線了robots.txt文件提示。當網站使用robots.txt文件禁止百度收錄網站的部分或全部內容，百度將會在搜索結果中給出robots.txt的提示，讓站長及時了解網站在搜索結果中無摘要顯示的原因，同時可在搜索結果中點擊“了解詳情”，查看網站詳細的robots信息，確認是否是由於robots.txt的誤設置而導致的封禁。
robots.txt介紹：robots.txt是搜索引擎訪問網站時查看的第一個文件，這個文件用於指定spider在該網站上的抓取範圍。部分網站由於存在不想被搜索引擎收錄的內容，會使用robots.txt文件來屏蔽網站的部分內容或者全部內容。若網站對百度spider設置了robots.txt文件，百度會遵循robots協議，不去抓取封禁的結果，但是考慮到用戶在搜索引擎中有搜索該網站地址的需求，搜索結果中會根據搜索需求展示網站的標題及網址，但不會顯示網站的摘要。
溫馨提示：僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。同時為了方便站長快速檢測及生成robots文件，百度站長平台已上線robots工具。工具地址：https://zhanzhang.baidu.com/robots
主要展現形式如下所示：
網站robots.txt詳情介紹頁麵：
最後更新：2013-07-19 06:41:30