1、網(wǎng)站和頁面權重。質(zhì)量高，資格老的網(wǎng)站被認為權重比較高，這種網(wǎng)站上的頁面被爬行的深度也會比較高，所以會更多內(nèi)頁被收錄。http://yyk.fh21.com.cn/yiyuan_cdsgyynk/ys/

　　2、與首頁點擊距離。一般來說網(wǎng)站上權重最高的是首頁，大部分外部鏈接是指向首頁的，蜘蛛訪問最頻繁的也是首頁。離首頁點擊距離近，頁面權重越高，被蜘蛛爬行的機會也越大。

　　http://yyk.fh21.com.cn/yiyuan_cdsgyynk/ys/

　　3、導入鏈接。無論是外部鏈接還是同一個網(wǎng)站的內(nèi)部鏈接，要被蜘蛛抓取，就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。高質(zhì)量的導入鏈接也經(jīng)常使頁面上導出鏈接被爬行深度增加。

　　4、頁面更新度。蜘蛛每次爬行都會把頁面數(shù)據(jù)儲存起來。如果第二次爬行發(fā)現(xiàn)頁面與第一次收錄的完全一樣，說明頁面沒有更新，蜘蛛也就沒有必要經(jīng)常抓取。如果頁面內(nèi)容經(jīng)常更新，蜘蛛就會更加頻繁地訪問這種頁面，頁面上出現(xiàn)的新連接，也自然會被蜘蛛更塊地跟蹤，抓取頁面。

　　爬行和抓取 是搜索引擎工作的第一步，完成數(shù)據(jù)收集任務。

　　1、蜘蛛：

　　搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛(spider)，也稱為機器人(bot)。

　　2、跟蹤鏈接：

　　為了抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也是搜索引擎蜘蛛這個名稱的由來。

　　3、吸引蜘蛛：

　　理論上蜘蛛能爬行和抓取所有頁面，但實際上不能，也不會這么做。SEO人員想要讓自己的更多頁面被收錄，就要想方設法吸引蜘蛛抓取。

　　4、地址庫：

　　為了避免重復爬行和抓取網(wǎng)址，搜索引擎會建立一個地址庫，記錄已經(jīng)被發(fā)現(xiàn)還沒有抓取的頁面，以及已經(jīng)被抓取的頁面。

　　5、文件儲蓄：

　　搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面數(shù)據(jù)庫。其他的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個URL都是這樣一個獨特的文件編號。