robots協(xié)議是搜索引擎來我們網(wǎng)站抓取東西，訪問的第一個文件。它定義了我們網(wǎng)站內(nèi)容，那些可以抓取，那些不能夠抓取建立索引。一定程度上保護了我們網(wǎng)站上的一些隱私文件的安全性，例如我們網(wǎng)站的后臺文件、模版文件等。 ? ? ??

? ? ? ?robots協(xié)議對優(yōu)化我們網(wǎng)站的作用：

　　1、能夠處理空白無內(nèi)容頁面進行屏蔽掉。

　　2、對于打不開的死鏈接頁面進行屏蔽。

　　3、網(wǎng)站隱私頁面屏蔽處理，比如說：數(shù)據(jù)庫信息、注冊信息頁面。

　　4、屏蔽一些比較長的路徑。比如說：路徑很長的動態(tài)路徑。

　　robots協(xié)議中文件的名詞解釋說明：

　　1、User-agent: ? ? 表示定義搜索引擎的抓取程序。

　　2、Disallow: ? ? ? ? 表示禁止抓取。

　　3、Allow: ? ? ? ? ? ? 表示允許抓取。

　　4、* 和 $符號 ? ? ? *表示匹配符號， ?$表示結(jié)束符號。

　　5、/ 符號 ? ? ? ? ? ? 單獨的/表示網(wǎng)站根目錄。

　　常見的搜索引擎抓取程序：

　　1、Baiduspider ? ? ? ? ? ? ? ? 百度蜘蛛

　　2、Googlebot ? ? ? ? ? ? ? ? ? 谷歌機器人

　　3、YoudaoBot ? ? ? ? ? ? ? ? ?有道機器人

　　4、Sogou web spider ? ? ? ?搜狗蜘蛛

　　5、ChinasoSpider ? ? ? ? ? ? ?國搜蜘蛛

　　6、yisouspider ? ? ? ? ? ? ? ? ?易搜蜘蛛

　　robots協(xié)議的寫法：

　　1、建立一個TXT文檔 ? ? 命名為：robots.txt

　　2、 首字母要大寫、冒號是英文狀態(tài)下的冒號 ? : ? ?而且冒號后面要有一個空格。

　　User-agent: * ? ? ?*表示定義所有抓取程序

　　Disallow：/baidu ? ? 表示以baidu ? 開頭的所有文件

　　Disallow：/baidu/ ? ?表示禁止抓取baidu的這個文件夾

　　例如：屏蔽所有搜索引擎抓取我們的整個網(wǎng)站：

　　User-agent: *

　　Disallow: /

　　例如：屏蔽百度搜索引擎來抓取我們的網(wǎng)站：

　　User-agent: Baidusipder

　　Disallow: /

　　User-agent: *

　　例如：禁止抓取所有動態(tài)路徑的寫法；

　　User-agent: *

　　Disallow: /*?*

　　例如：禁止抓取一個文件夾，但是又要允許抓取該文件其中包含的一個文件的寫法。

　　如：文件a下 ?有一個文件b.

　　User-agent: *

　　Disallow: /a/

　　Allow: /b/

　　例如：禁止抓取abc.html.dsfaewf 路徑.html后的 .dsfawf 的寫法。

　　User-agent: *

　　Disallow: /*.html$ ? ? ? ?最后，要把寫好的robots.txt文件通過FTP上傳到網(wǎng)站根目錄里。

　　wordpress博客程序網(wǎng)站，robots協(xié)議的寫法(示例）：

　　User-agent: *

　　Disallow: /wp-admin/

　　Disallow: /plugins/

　　Disallow: /themes/

? ? ? ?南寧波形護欄 ?南寧高速公路護欄