Robots（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜索引擎哪些頁麵可以抓取，哪些頁麵不能抓取。

 

 

很多Web站的一部分內容，不是對外公開的，讀者也無法看到這些頁麵。實際上，我們完全可以利用robots.txt文件。

 

在瀏覽器地址欄中的網址後加上“/robots.txt”，你就可看到那些秘密網頁的文件或文件夾列表。此後，在地址欄直接鍵入這些網頁名，就可看到更多其他人看不到的網頁了。如下圖，直接在瀏覽器地址欄輸入下圖Disallow的地址，就可以訪問這個不公開的網頁了。

 

 

 

以上利用robots.txt看到更多網頁內容出自幫助大全，感謝瀏覽~