1032
騰訊雲
愛站seo工具之robots.txt生成工具使用介紹
“Robots”經常被一些同行朋友稱作“蘿卜絲”，是搜索引擎“網絡爬蟲排除協議”。通過Robots協議我們可以告訴搜索引擎，網站哪些頁麵允許抓取，哪些不允許。
如果你想禁止爬蟲抓取網站某些目錄，卻又不熟悉robots文件的編寫，你可以通過愛站seo工具包的robots製作工具，簡單設置即可生成robots.txt文件。
如圖，我們可以通過簡單的選擇和設置，生成robots.txt，並放在網站根目錄下麵，即可告訴搜索引擎爬蟲哪些哪些頁麵可以抓取，哪些頁麵不能夠抓取。
最後更新：2016-12-29 14:33:23