虛擬主機被搜索引擎爬蟲訪問耗費大量流量解決方法___安全問題_技術分享_雲虛機主機-阿裏雲

 

,,問題場景：

,,客戶使用虛擬主機，網站被搜索引擎爬蟲訪問耗費大量流量和帶寬，如何處理。

,,解決方法：

,,可以通過在站點根目錄下創建 ,Robots.txt，Robots.txt 文件是網站的一個文件，搜索引擎蜘蛛抓取網站首先就是抓取這個文件，根據裏麵的內容來決定對網站文件訪問的範圍。它能夠保護我們的一些文件不暴露在搜索引擎之下，從而有效的控製蜘蛛的爬取路徑。

,,1. 首先，先了解一下目前搜索引擎和其對應的 User-Agent，如下：

,,搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp 
 

,,2. Robots.tx t樣例代碼：

,,例1. 禁止所有搜索引擎訪問網站的任何部分
User-agent:
Disallow: /
例2. 允許所有的搜索引擎訪問網站的任何部分
User-agent:
Disallow:
例3. 僅禁止Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/

,注意事項：

• 三個目錄要分別寫。
• ,,請注意最後要帶斜杠。
• ,,帶斜杠與不帶斜杠的區別。

,,例6. 允許訪問特定目錄中的部分url
實現a目錄下隻有b.htm允許訪問
User-agent: *
Allow: /a/b.htm
Disallow: /a/

 

,,如問題還未解決,請聯係售後技術支持

,,