316 愛站SEO工具包

WordPress網站robots.txt寫法

WordPress是一個強大的、國內外用戶數量最多的博客程序。WordPress默認是不提供robots.txt文件的，需要自己編寫。那麼接下來就讓我來為大家講解一下怎麼寫robots.txt。

首先我們先簡單了解下robots是什麼有什麼用途？

Robots是以一種網絡爬蟲協議，全稱是“網絡爬蟲排除標準”，通過robots規則，可以規範爬蟲抓取行為，不僅可以規範哪個搜索引擎爬蟲可以或不可以抓取，還能告訴它們哪些文件類型可以抓取。

接下開始編寫WordPress的robots.txt

User-agent: * #這裏的*代表的所有的搜索引擎種類，*是一個通配符

Disallow: /wp-admin/#禁止所有引擎抓取網站wp-admin目錄

Disallow: /wp-includes/#禁止所有引擎抓取網站wp-includes目錄

Disallow: /wp-content/plugins/#禁止所有引擎抓取網站wp-content目錄下的plugins目錄

Disallow: /wp-content/themes/#禁止所有引擎抓取網站wp-content目錄下的themes目錄

Disallow: /comments/feed/ #禁止搜索引擎爬蟲抓取評論訂閱

Disallow: /*/trackback#禁止所有引擎抓取網站包含和的目錄下的trackback目錄（包含子目錄）

Disallow: /*?replytocom= #禁止搜索引擎爬蟲抓取評論回複鏈接

Disallow: /*/comment-page-* #禁止搜索引擎爬蟲抓取評論分頁鏈接

Disallow：/?s=* #屏蔽搜索引擎蜘蛛抓取搜索結果頁麵

Disallow: /?p=* #禁止所有引擎爬蟲抓取內容頁的動態鏈接，如果未使用固定鏈接則忽略

最後更新：2016-12-29 14:33:18