451
百度
我不想我的網站被百度Baiduspider訪問,我該怎麼做?
我不想我的網站被Baiduspider訪問,我該怎麼做?Baiduspider遵守互聯網robots協議。您可以利用robots.txt文件完全禁止Baiduspider訪問您的網站,或者禁止Baiduspider訪問您網站上的部分文件。 注意:禁止Baiduspider訪問您的網站,將使您的網站上的網頁,在百度搜索引擎以及所有百度提供搜索引擎服務的搜索引擎中無法被搜索到。關於robots.txt的寫作方法,請參看我們的介紹:robots.txt寫作方法
您可以根據各產品不同的user-agent設置不同的抓取規則,如果您想完全禁止百度所有的產品收錄,可以直接對Baiduspider設置禁止抓取。
以下robots實現禁止所有來自百度的抓取:
User-agent: Baiduspider
Disallow: /
以下robots實現禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄:
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
請注意:Baiduspider-cpro抓取的網頁並不會建入索引,隻是執行與客戶約定的操作,所以不遵守robots協議,如果Baiduspider-cpro給您造成了困擾,請聯係union1@baidu.com。
Baiduspider-ads抓取的網頁並不會建入索引,隻是執行與客戶約定的操作,所以不遵守robots協議,如果Baiduspider-ads給您造成了困擾,請聯係您的客戶服務專員。
最後更新:2011-09-28 21:37:53