robots.txt，是一個給搜索引擎蜘蛛下指令的文本文件，用于SEO優化。如果用對了，可以確保搜索引擎蜘蜘蛛正確抓取和索引你的網站頁面。如果用錯了，可能會對SEO排名和網站流量造成負面影響，那怎么設置robots.txt ，究竟有著怎樣的重要性，又該如何書寫呢？下面讓我們一起來了解一下。

Robots.txt文件的重要性

robots.txt是搜索引擎蜘蛛訪問網站時要查看的第一個文件，并且會根據robots.txt文件的內容來爬行網站。在某種意義上說，它的一個任務就是指導蜘蛛爬行，減少搜索引擎蜘蛛的工作量。

當搜索引擎蜘蛛訪問網站時，它會首先檢查該站點根目錄下是否存在robots.txt文件，如果該文件存在，搜索引擎蜘蛛就會按照該文件中的內容來確定爬行的范圍；如果該文件不存在，則所有的搜索引擎蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

搜索引擎對網站派出的蜘蛛是有配額的，多大規模的網站放出多少蜘蛛。如果我們不配置robots文件，那么蜘蛛來到網站以后會無目的的爬行，造成的一個結果就是，需要它爬行的目錄，沒有爬行到，不需要爬行的，也就是我們不想被收錄的內容卻被爬行并放出快照。所以robots文件對于我們做網站優化來說具有很重要的影響。

網站沒有Robots.txt文件的弊端

如果網站中沒有robots.txt文件，則網站中的程序腳本、樣式表等一些和網站內容無關的文件或目錄即使被搜索引擎蜘蛛爬行，也不會增加網站的收錄率和權重，只會浪費服務器資源；搜索引擎派出的蜘蛛資源也是有限的，我們要做的應該是盡量讓蜘蛛爬行網站重點文件、目錄，******限度的節約蜘蛛資源。

a.User-agent: 應用下文規則的漫游器，比如Googlebot,Baiduspider等。

b.Disallow: 要攔截的網址,不允許機器人訪問。

c.Allow: 允許訪問的網址

d.“*” : 通配符—匹配0或多個任意字符。

e.“$” : 匹配行結束符。

f.“#” : 注釋—說明性的文字,不寫也可。

g.Googlebot: 谷歌搜索機器人(也叫搜索蜘蛛)。

h.Baiduspider: 百度搜索機器人(也叫搜索蜘蛛)。

i.目錄、網址的寫法:都以以正斜線 (/) 開頭。

如：Disallow:/

Disallow:/images/

Disallow:/admin/

Disallow:/css/