461
其它帮助
robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如https://www.abc.com）时，首先会检查该网站中是否存在https://www.abc.com/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。网站 URL 相应的 robots.txt的 URL
https://www.w3.org/ https://www.w3.org/robots.txt
https://www.w3.org:80/ https://www.w3.org:80/robots.txt
https://www.w3.org:1234/ https://www.w3.org:1234/robots.txt
https://w3.org/ https://w3.org/robots.txt
最后更新：2011-05-25 20:58:37