一、百度蜘蛛抓取規(guī)則

1、對網(wǎng)站抓取的友好性

百度蜘蛛在抓取互聯(lián)網(wǎng)上的信息時為了更多、更準確的獲取信息，會制定一個規(guī)則最大限度的利用帶寬和一切資源獲取信息，同時也會僅最大限度降低對所抓取網(wǎng)站的壓力。

2、識別url重定向

互聯(lián)網(wǎng)信息數(shù)據(jù)量很龐大，涉及眾多的鏈接，但是在這個過程中可能會因為各種原因頁面鏈接進行重定向，在這個過程中就要求百度蜘蛛對url重定向進行識別。

3、百度蜘蛛抓取優(yōu)先級合理使用

由于互聯(lián)網(wǎng)信息量十分龐大，在這種情況下是無法使用一種策略規(guī)定哪些內(nèi)容是要優(yōu)先抓取的，這時候就要建立多種優(yōu)先抓取策略，目前的策略主要有：深度優(yōu)先、寬度優(yōu)先、PR優(yōu)先、反鏈優(yōu)先，在我接觸這么長時間里，PR優(yōu)先是經(jīng)常遇到的。

4、無法抓取數(shù)據(jù)的獲取

在互聯(lián)網(wǎng)中可能會出現(xiàn)各種問題導(dǎo)致百度蜘蛛無法抓取信息，在這種情況下百度開通了手動提交數(shù)據(jù)。

5、對作弊信息的抓取

在抓取頁面的時候經(jīng)常會遇到低質(zhì)量頁面、買賣鏈接等問題，百度出臺了綠蘿、石榴等算法進行過濾，據(jù)說內(nèi)部還有一些其他方法進行判斷，這些方法沒有對外透露。

上面介紹的是百度設(shè)計的一些抓取策略，內(nèi)部有更多的策略咱們是不得而知的。

二、百度蜘蛛抓取過程中涉及的協(xié)議

1、協(xié)議：超文本傳輸協(xié)議

2、協(xié)議:目前百度已經(jīng)全網(wǎng)實現(xiàn)https，這種協(xié)議更加安全。

3、robots協(xié)議：這個文件是百度蜘蛛訪問的第一個文件，它會告訴百度蜘蛛，哪個頁面可以抓取，哪個不可以抓取。

三、如何提高百度蜘蛛抓取頻次

百度蜘蛛會根據(jù)一定的規(guī)則對網(wǎng)站進行抓取，但是也沒法做到一視同仁，以下內(nèi)容會對百度蜘蛛抓取頻次起重要影響。

1、網(wǎng)站權(quán)重：權(quán)重越高的網(wǎng)站百度蜘蛛會更頻繁和深度抓取

2、網(wǎng)站更新頻率：更新的頻率越高，百度蜘蛛來的就會越多

3、網(wǎng)站內(nèi)容質(zhì)量：網(wǎng)站內(nèi)容原創(chuàng)多、質(zhì)量高、能解決用戶問題的，百度會提高抓取頻次。

天津博大醫(yī)院