Robots（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

 

 

很多Web站的一部分内容，不是对外公开的，读者也无法看到这些页面。实际上，我们完全可以利用robots.txt文件。

 

在浏览器地址栏中的网址后加上“/robots.txt”，你就可看到那些秘密网页的文件或文件夹列表。此后，在地址栏直接键入这些网页名，就可看到更多其他人看不到的网页了。如下图，直接在浏览器地址栏输入下图Disallow的地址，就可以访问这个不公开的网页了。

 

 

 

以上利用robots.txt看到更多网页内容出自帮助大全，感谢浏览~