跟蹤鏈接
為了抓取網(wǎng)上盡量多的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬到下一個頁面，就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣，這也就是搜索引擎蜘蛛這個名稱的由來。最簡單的爬行遍歷策略分為兩種，一是深度優(yōu)先，二是廣度優(yōu)先。
深度優(yōu)先搜索
深度優(yōu)先搜索就是在搜索樹的每一層始終先只擴展一個子節(jié)點，不斷地向縱深前進直到不能再前進(到達葉子節(jié)點或受到深度限制)時，才從當前節(jié)點返回到上一級節(jié)點，沿另一方向又繼續(xù)前進。這種方法的搜索樹是從樹根開始一枝一枝逐漸形成的。
深度優(yōu)先搜索亦稱為縱向搜索。由于一個有解的問題樹可能含有無窮分枝，深度優(yōu)先搜索如果誤入無窮分枝(即深度無限)，則不可能找到目標節(jié)點。所以，深度優(yōu)先搜索策略是不完備的。另外，應用此策略得到的解不一定是最佳解(最短路徑)。
廣度優(yōu)先搜索
在深度優(yōu)先搜索算法中，是深度越大的結點越先得到擴展。如果在搜索中把算法改為按結點的層次進行搜索， 本層的結點沒有搜索處理完時，不能對下層結點進行處理，即深度越小的結點越先得到擴展，也就是說先產生 的結點先得以擴展處理，這種搜索算法稱為廣度優(yōu)先搜索法。
在深度優(yōu)先搜索算法中，是深度越大的結點越先得到擴展。如果在搜索中把算法改為按結點的層次進行搜索， 本層的結點沒有搜索處理完時，不能對下層結點進行處理，即深度越小的結點越先得到擴展，也就是說先產生 的結點先得以擴展處理，這種搜索算法稱為廣度優(yōu)先搜索法。
吸引蜘蛛
哪些頁面被認為比較重要呢?有幾方面影響因素：
· 網(wǎng)站和頁面權重。質量高、資格老的網(wǎng)站被認為權重比較高，這種網(wǎng)站上的頁面被爬行的深度也會比較高，所以會有更多內頁被收錄。
· 頁面更新度。蜘蛛每次爬行都會把頁面數(shù)據(jù)存儲起來。如果第二次爬行發(fā)現(xiàn)頁面與第一次收錄的完全一樣，說明頁面沒有更新，蜘蛛也就沒有必要經(jīng)常抓取。如果頁面內容經(jīng)常更新，蜘蛛就會更加頻繁地訪問這種頁面，頁面上出現(xiàn)的新鏈接，也自然會被蜘蛛更快跟蹤，抓取新頁面。
· 導入鏈接。無論是外部鏈接還是同一個網(wǎng)站的內部鏈接，要被蜘蛛抓取就必須有導入鏈接進入頁面，否則蜘蛛根本沒有機會知道頁面的存在。高質量的導入鏈接也經(jīng)常使頁面上的導出鏈接被爬行深度增加。一般來說網(wǎng)站上權重最高的是首頁，大部分外部鏈接是指向首頁，蜘蛛訪問最頻繁的也是首頁。離首頁點擊距離越近，頁面權重越高，被蜘蛛爬行的機會也越大。
