Robots協議支持_360搜索使用幫助

感謝您使用360搜索。為了實現對網站更好的收錄，我們特別公布360搜索對Robots協議的支持和擴展說明，以便站長們可以通過此協議和360搜索溝通收錄策略，實現對網站內容更高效、智能的收錄。

360搜索支持Robots協議的主要命令，以下為具體說明：

1. user-agent

360搜索支持user-agent命令，包括使用通配符的user-agent命令。360搜索各產品的爬蟲user-agent為：

- 網頁搜索 360Spider

- 網頁搜索 HaoSouSpider

360搜索將優先使用HaoSouSpider來訪問站點，如果遇到UA識別無法下載頁麵，會再用 360spider抓取,蜘蛛IP不更改。

- 圖片搜索 360Spider-Image

- 視頻搜索 360Spider-Video

2. Allow

站長可通過Allow命令指定建議收錄的文件、目錄 。

3. Disallow

站長可通過Disallow命令指定不建議收錄的文件、目錄。

360搜索根據站長們的反饋，會陸續推出擴展的Robots協議命令。這些命令將能幫助站長們提高和360搜索爬蟲溝通的效率，減少站長們維護Robots協議文件的技術成本。

360搜索首個擴展命令是：indexpage，站長們可以使用此命令告知360搜索哪些網頁經常更新。360搜索會根據站長的指示以及自己的算法，智能調整爬蟲抓取頻率，實現對您網站新內容的更高頻率抓取。

在命令中可以使用*、$等通配符。

示例：

使用通配符的

Indexpage: https://bbs.360safe.com/forum-*-1.html$

Indexpage: https://ent.sina.com.cn/*/roll.html

不用通配符的：

Indexpage: https://roll.tech.sina.com.cn/internet_all/index.shtml

Indexpage: https://roll.tech.sina.com.cn/it/index.shtml

Indexpage: https://roll.tech.sina.com.cn/tele/index.shtml

Indexpage: https://roll.tech.sina.com.cn/discovery/index.shtml

Indexpage: https://roll.tech.sina.com.cn/elec/index.shtml

Robots協議是一個搜索引擎和網站之間的善意協議，我們鼓勵站長們也以善意的方式使用這一協議，盡量提供準確的信息，除非有充足理由，不使用Robots協議屏蔽某些特定搜索引擎爬蟲。

360搜索願和站長們一起，共建一個更健康、公平、透明的搜索引擎生態係統。