688
機器人
robots文件的使用-SEO優化係列教程37
robots文件的使用-SEO優化係列教程（37）
robots.txt是一個協議。robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網絡爬蟲排除標準 ”（robots exclusion protocol）。網站通過robots協議告訴搜索引擎哪些頁麵可以抓取，哪些頁麵不能抓取。今天我 們就來講講robots文件的使用和robots.txt文件的作用，一起來看看吧！
robots.txt文件的作用
當一個搜索引擎訪問一個站點時。它會首先檢查該站點根目錄下是否存在robots.txt。 如果存在，搜索機器人就會按照該文件中的內容確定訪間的範圍；如果該文件不 存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁麵。
如果將網站視為酒店裏的一個房間，robots.txt就是主人在房間門口懸掛的“請勿 打擾”的提示牌。這個文件告訴來訪的搜索引掌哪些房間可以進入和參觀，哪些房間 因為存放貴重物品，或可能涉及住戶及訪客的隱私而不對搜索引擎開放。但是，robot. txt不是命令，也不是防火牆，如同守門人無法阻止竊賊等惡意闖入者。
robots協議可以屏蔽一些網站中比較大的文件，如圖片、音樂、視頻等內容。節省 服務器帶寬；也可以屏蔽站點的一些死鏈接，禁止搜索引掌抓取。
robots文件的寫法
1.robots文件的簡單寫法
robots文件最簡單的寫法隻有兩行：
第一行：user-agent:*
第二行：Disallow:（或Allow:）意思為：搜索引擎可以抓取網結的所有文件。
2.robots文件的其他寫法
ser-aget:*這裏的·代表所有的搜索引摩種類，·是一個通配符
Disallow:/admin/禁止抓取admin目錄及目錄下的文件。
Disallow:/require/禁止抓取require目錄及目錄下的文件。
Disallow:/ABC/禁止抓取ABC目錄及目錄下的文件
Disallow:/*?*禁止訪問網站中所有包含問號（）的網址。
Disallow:/ab/adc.html 禁止抓取ab文件夾下麵的adc.html文件。
注意：在robots文件中，可以將網站地圖的鏈接放在後麵，方便搜索引擎首先訪問並且抓取。
robots文件的設置
先檢查網站是否有robots文件，直接在域名後輸入robotstt 即可，如https/www. haol23.com/robots.txt,如果沒有，就按照以下步驟設置：
第一步：在桌麵建立一個記事本，命名為robots.tt:
第二步：寫入以下兩行英文代碼，保存。User-agent:* Disallow
第三步：連接FTP，將robots.tt文件上傳到FTP根目錄中，
第四步：通過訪問域名/robots.txt，檢查是否正常訪問。正常訪問說明設置成功。
注意：robots.txt的命名都是小寫。
以上就是對robots文件的使用和robots.txt文件的作用的介紹，感謝大家的收看，觀看過後 的朋友們趕快運用起來吧！
(本文出自廣州新川教育，專業網絡營銷、seo培訓）
最後更新：2017-10-07 23:31:24