問題簡寫一：網(wǎng)站每天都被蜘蛛爬N遍，收錄的網(wǎng)頁為何只有一兩篇?
問：黃老師你好，我的企業(yè)網(wǎng)站上線有一段時間了，原創(chuàng)文章每天也都在堅持更新，但就是不怎么收錄，后來我分析了一下網(wǎng)站日志，發(fā)現(xiàn)百度爬蟲每天都來爬N遍。我就郁悶了，為什么蜘蛛每天都來爬行，我的內(nèi)容頁收錄的這么少呢?是不是進沙盒了?還是內(nèi)容質(zhì)量不行?
答：一般來說新站都會遇到這樣的問題，而且很多SEO人員都遇到過，那種焦急的狀態(tài)我也是很理解的。通常我都會讓他們?nèi)ビ^察，如果觀察一段時間且很長一段時間內(nèi)都是這樣的話，那可能是你的網(wǎng)站內(nèi)容存在問題。無論蜘蛛抓你千百遍都不怎么收錄，這就說明你網(wǎng)站的內(nèi)容不值得被索引。其實很多權重高的網(wǎng)站被降權了也會出現(xiàn)這樣的情況。所以，建議你從內(nèi)容上做檢查。
問題簡寫二：網(wǎng)頁被robots了，為什么還會被百度收錄?
問：黃忠老師，這個問題困惑我很久了，為什么我網(wǎng)站的網(wǎng)頁被robots屏蔽了之后，我從網(wǎng)站日志分析后還會能看到被百度抓取和收錄呢?不是說屏蔽了以后就不會被抓取和收錄了嗎?這些頁面都是我們老板千叮萬囑不讓展現(xiàn)在百度的，現(xiàn)在都不知道怎么交差了，求解釋。
答：我經(jīng)常遇到這樣的情況，很多人都來問我：“為啥屏蔽了的頁面還被抓取?”這里我簡單的說下吧，一般有兩種情況：
第一種是：對已經(jīng)收錄的網(wǎng)頁使用robots屏蔽，老網(wǎng)頁按照robots規(guī)則的刪除時間會很長，這個時候可能會造成百度沒有遵守robots規(guī)則。
第二種情況是：如果你屏蔽的頁面或欄目存在大量的外鏈，那么這個網(wǎng)頁或欄目的URL會被百度收錄，但內(nèi)容不會被百度索引，一般這樣的多見于首頁域名。當然，如果你連URL都不想被收錄，可以針對蜘蛛返回404即可。
