突然間靈光乍現(xiàn)，有個有趣的問題就是我們該不該在網(wǎng)站robots.txt文件中加入網(wǎng)站地圖的地址。有種說法就是搜索引擎抓取一個網(wǎng)站首先會抓取robots文件，這樣把sitemap地址寫在robots文件里，這樣搜索引擎可以地址直接的對網(wǎng)站地圖進(jìn)行抓取，可以加快鏈接收錄的速度，那么robots文件中該不該加入網(wǎng)站地圖地址?下面跟我一起來看看吧。

　　什么是robots

　　robots是一個名為robots.txt的文件位于網(wǎng)站的根目錄。是一個與爬蟲之間的協(xié)議，告知搜索引擎哪些頁面目錄是允許被抓取的，哪些目錄是不被允許抓取的。對于SEO來說可以把有限抓取數(shù)量集中在重要的頁面，同時保護(hù)隱私內(nèi)容不被抓取。具體的robots文件怎么編寫前面已經(jīng)講過了。

　　sitemap公開的危害

　　網(wǎng)站地址是一個網(wǎng)站所有資源的合集，通過sitemap我們可以快速知道網(wǎng)站的結(jié)構(gòu)以及所有頁面的網(wǎng)址。現(xiàn)在這個網(wǎng)絡(luò)環(huán)境非常喜歡的抄襲，從服務(wù)器日志可以看到，每天會有很多惡意的爬蟲來爬取內(nèi)容。

　　當(dāng)你在robots文件里申明網(wǎng)站地圖的地址，或者在網(wǎng)站頁面上留了網(wǎng)站地圖的鏈接，這些行為正好是方面了別人來取出你整站的內(nèi)容。如果你把sitemap隱藏好，那么想要把整個網(wǎng)站抓取完全還要保持高效率不重復(fù)，是很難做到的，即使是搜索引擎都沒法這個完整和搞笑的抓取。

　　因此，建議大家把網(wǎng)站地圖的目錄放的復(fù)雜點，名字生僻點。我們也沒有必要擔(dān)心，搜索引擎抓取不到，像主流點搜索引擎的站長后臺都是可以直接提交sitemap地址，這樣一來對外可以有保密效果，同時不影響搜索引擎的抓取。

　　為什么不申明sitemap地圖

　　為什么不在robots文件里申明網(wǎng)站地圖的地址，因為沒有任何作用。雖然說搜索引擎首先會抓取robots的內(nèi)容，但是我們要知道robots文件只是告訴搜索引擎哪些目錄可以抓取，可以抓取的內(nèi)容頁不代表搜索引擎會在第一時間去抓取的，更何況鏈接地址不是屬于robots格式的標(biāo)準(zhǔn)允許的內(nèi)容，很大的可能會被爬蟲直接的拋棄，即使是會去抓取，那么也是只是給予蜘蛛一個可以抓取的權(quán)限，并不能決定取抓取。下面就拿出一些證據(jù)來證明。

　　大家可以從第一張圖得出一個結(jié)論蜘蛛是每天都會來抓取，但是從圖二看出來通過sitemap抓取的鏈接是有周期性，并且是選擇的抓取一定數(shù)量。搜索從數(shù)據(jù)證明了在robots文件里寫明網(wǎng)站地圖地址是沒有作用的，但是有的人會覺得即使沒用放在里面也不礙事，也許會有點用。但是sitemap地址過于公開并不是什么好事情。

深圳近視眼醫(yī)院

上海胎記醫(yī)院