101
愛站SEO工具包
Allow和Disallow在Robots中的使用順序
我們在對robots.txt 文件設置時，在此過程中要特別注意 Allow 與Disallow行的順序，這個順序非常關鍵，因為蜘蛛會根據第一個匹配成功的 Allow 或 Disallow 行確定是否訪問某個URL。如果混淆使用Allow和Disallow，將會給網站收錄以及排名帶來無法估計的傷害。
Allow代表允許抓取的URL或URL集
Disallow代表禁止搜索引擎抓取的URL或URL集
例：允許抓取www.feiwenseo.com/SEO-base目錄下的a.html頁麵，禁止抓取目錄下的其他url，
【正確寫法】
Allow:/SEO-base/a.html
Disallow:/SEO-base/
【錯誤寫法】
Disallow:/SEO-base/
Allow:/SEO-base/a.html
解析：蜘蛛會根據規則，匹配到允許抓取的a.html,禁止抓取SEO-base目錄下的其他Url，會排除a.html的禁止抓取；如果先匹配到目錄禁止抓取，後麵Allow包含的a.html將被忽略，所以書寫禁止url前，需要先書寫Allow的url；
Allow和Disallow後麵書寫的路徑可以是絕對路徑，也可以是相對路徑，視網站抓取規則複雜程度自定義。
對於新手來說，寫robots文件時，一定要慎重。
最後更新：2016-12-29 14:33:17