為什么要禁抓自己的網(wǎng)頁呢?這似乎有點讓人不理解，因為對于自己的網(wǎng)站來說，顯然是讓百度搜索引擎抓取的越多就會越好，因為有著更多的機會暴露到互聯(lián)網(wǎng)上?？墒鞘聦嵣弦粋€網(wǎng)站通常有很多的內(nèi)頁不應該被百度抓取，因為這些網(wǎng)站頁面不僅不利于自身的優(yōu)化，甚至還會帶來反作用。

　　那么通常哪些網(wǎng)站頁面不應該被百度抓取呢?比如網(wǎng)站內(nèi)部存在著一定的重復性內(nèi)容，比如一些按照條件查詢獲得的結果頁面，這一點在很多商城類網(wǎng)站表現(xiàn)的非常突出，比如一個產(chǎn)品因為顏色、大小和型號的區(qū)別，就會出現(xiàn)很多種類似的頁面，這種頁面能夠對用戶來說具有一定的體驗度，但是對于搜索引擎，卻容易因為提供的重復內(nèi)容太多，而被懲罰或者降權。

　　另外網(wǎng)站中還存在著很多注冊頁面、備份的頁面以及測試頁面等，這些頁面僅僅是為了讓用戶能夠更好的操作網(wǎng)站，以及自己對網(wǎng)站的操作管理。而這些頁面由于內(nèi)容相對單調，并不符合百度對內(nèi)容質量的要求，因此要盡可能的規(guī)避被百度收錄和抓取。下面就來具體談談如何規(guī)避百度抓取內(nèi)容頁的方法。

　　第一，運用Flash技術來展現(xiàn)那些不想被百度收錄的內(nèi)容。通過這種方法不僅能夠讓用戶獲得更好的用戶體驗，同時百度也不能夠抓取這些內(nèi)容，從而實現(xiàn)更好的服務于用戶，同時也不會影響到自己的內(nèi)容再百度中暴露。

　　第二，采用robots腳本技術來屏蔽相應的內(nèi)容。目前搜索引擎行業(yè)協(xié)會規(guī)定了對于Robots描述的內(nèi)容和鏈接給予禁止抓取，因此對于網(wǎng)站上存在著隱私內(nèi)容，以及管理頁面和測試頁面等內(nèi)容，都可以設置到這個腳本文件中，這不僅能夠對本網(wǎng)站提供很好的保護，同時也能夠讓那些看起來是垃圾的內(nèi)容，規(guī)避被百度抓取后，反而對本網(wǎng)站形成巨大的負面作用。

　　第三，使用nofollow屬性標簽來摒棄頁面中那些不想被收錄的內(nèi)容。這種方法使用比較常見，而且能夠針對網(wǎng)頁中某一個區(qū)域或者一段文字進行屏蔽，從而提升自己網(wǎng)站內(nèi)容的優(yōu)化效果。采用這種技術只需要對需要屏蔽的內(nèi)容將nofollow屬性設置為True，就能夠屏蔽這些內(nèi)容。比如對于網(wǎng)站上存在著一些精彩的內(nèi)容，但是這些內(nèi)容還包括了錨文本鏈接，那么為了防范這些錨文本外鏈偷走本站的權重，就可以對這些錨文本鏈接設置nofollow屬性，這樣就能夠享受到這些內(nèi)容帶給網(wǎng)站的流量，同時也能夠規(guī)避網(wǎng)站權重被分流的危險。

　　第四，使用Meta Noindex和follow標簽。使用這種方式既能夠實現(xiàn)防止被百度收錄，同時還能夠實現(xiàn)權重的傳遞，當然具體怎么操作還需要看站長們的需求，不過采用這種方式來屏蔽內(nèi)容，往往會浪費百度蜘蛛的抓取時間，從而影響優(yōu)化體驗，也就是說不到萬不得已時不需要采用這種模式。

　　對于有些站長采用的表單模式和Javascript技術來進行屏蔽，目前已經(jīng)不能夠完成這項任務了，因為隨著百度蜘蛛智能化水平的提升，采用這些技術編寫的內(nèi)容已經(jīng)能夠被抓取，而且從不久的將來，F(xiàn)lash里面的內(nèi)容一旦能夠被抓取，如果想要屏蔽網(wǎng)站內(nèi)容，這個方法也要規(guī)避使用。本文來源于dj舞曲http://www.djye.com/，轉載請保留作者鏈接，謝謝。

【版權與免責聲明】如發(fā)現(xiàn)內(nèi)容存在版權問題，煩請?zhí)峁┫嚓P信息發(fā)郵件至 1830498703@qq.com ，我們將及時溝通刪除處理。 以上內(nèi)容均為網(wǎng)友發(fā)布，僅代表網(wǎng)友個人觀點，不代表平臺觀點，涉及言論、版權與本站無關。