585
愛站SEO工具包
愛站seo工具之robots檢測工具介紹
robots檢測工具功能介紹
本工具可以檢測指定域名的robots.txt文件配置信息，可以方便快速檢測robots文件每一行的含義，檢測配置是否正確。
使用步驟：將需要檢測robots的地址輸入檢測框內，點擊“查詢”開始檢測，係統會自動檢測並將檢測結果顯示在robots檢測結果框內。
Robots.txt 是存放在站點根目錄下的一個純文本文件。robots文件作用很強大，配置卻很簡單。它可以指定搜索引擎蜘蛛隻抓取指定的內容，或禁止搜索引擎蜘蛛抓取網站的部分或全部內容。
最後更新：2016-12-29 14:33:23