影響蜘蛛爬行并最終影響到頁面收錄結(jié)果主要有幾個方面的原因。

　　1.網(wǎng)站的更新情況

　　一般來說，網(wǎng)站更新很快，蜘蛛就會更快地抓取網(wǎng)站的內(nèi)容。如果網(wǎng)站的內(nèi)容很長時間都沒有任何的更新，蜘蛛也會相應調(diào)整對網(wǎng)站的爬行頻率。更新頻率對新聞等網(wǎng)站來說很關(guān)鍵。因此，保持每天一定的更新數(shù)量，對吸引蜘蛛是非常重要的。

　　2.網(wǎng)站內(nèi)容的質(zhì)量

　　對于低質(zhì)量的頁面，搜索引擎一直是打擊的，因此，創(chuàng)建高質(zhì)量的內(nèi)容，對于吸引蜘蛛是非常關(guān)鍵的，從這個角度來說，“內(nèi)容制勝”是完全正確的。如果網(wǎng)頁是低質(zhì)量的，比如大量采集相同內(nèi)容，頁面核心內(nèi)容空泛，就無法獲得蜘蛛的青睞。

　　3.網(wǎng)站是否可以正常訪問

　　網(wǎng)站是否可以正常訪問對搜索引擎來說就是連通度。連通度要求網(wǎng)站不能經(jīng)常訪問不了，或者訪問速度特別慢。從蜘蛛角度來看，希望能提供給檢索客戶的網(wǎng)頁都是可以正常訪問的頁面，對于服務(wù)器反應速度慢或者經(jīng)常死機的服務(wù)器，相關(guān)網(wǎng)站肯定會有負面的印象，嚴重的就是逐漸減少爬行，甚至剔除已經(jīng)收錄的頁面。

　　在現(xiàn)實中，因為國內(nèi)的服務(wù)器服務(wù)比較貴，另外，基于監(jiān)管的要求，國內(nèi)網(wǎng)站的建立需要有備案制度，需要經(jīng)歷網(wǎng)上上傳備案信息等流程，部分中小網(wǎng)站的站長可能會租用國外的服務(wù)器服務(wù)，比如Godaddy(一家提供域名注冊和互聯(lián)網(wǎng)主機服務(wù)的美國公司)服務(wù)等。不過從國內(nèi)訪問國外服務(wù)器，距離較遠的原因，訪問慢或者死機情況不可避免，從長遠來說，對網(wǎng)站的SEO效果是一個制約。如果要用心經(jīng)營一個網(wǎng)站，還是盡量采用國內(nèi)的服務(wù)器服務(wù)，可以選擇一些服務(wù)比較好、界面比較友好的服務(wù)器供應商，當前多家公司推出的云服務(wù)器就是不錯的選擇。

　　此外，搜索引擎會依據(jù)網(wǎng)站的綜合表現(xiàn)，對網(wǎng)站進行評級，這個評級不能完全等同于權(quán)重，但是，評級的高低會影響到蜘蛛對網(wǎng)站的抓取策略。

　　在抓取頻次方面，搜索引擎一般都提供可以調(diào)整抓取頻次設(shè)置的工具，SEO人員可以依據(jù)實際情況進行調(diào)整。對于服務(wù)請求比較多的大型網(wǎng)站，可以通過調(diào)整頻次的工具來減輕網(wǎng)站的壓力。

　　在實際抓取過程中，如果遇到無法訪問的抓取異常情況，會導致搜索引擎對網(wǎng)站的評級大大降低，相應影響抓取、索引、排序等一系列SEO效果，最終反饋到流量的損失上。

　　抓取異常的原因有很多，比如服務(wù)器不穩(wěn)定，服務(wù)器一直超負荷運行，或者協(xié)議出現(xiàn)了錯誤。因此，需要網(wǎng)站運維人員對網(wǎng)站的運行進行持續(xù)跟蹤，確保網(wǎng)站穩(wěn)定運行。在協(xié)議配置上，需要避免一些低級的錯誤，比如Robots的Disallow設(shè)置錯誤。曾經(jīng)有一次，一個公司管理人咨詢SEO人員，問他們委托外部開發(fā)人員做好網(wǎng)站后，在搜索引擎怎么都無法搜索到，是什么原因。SEO人員直接在URL，地址欄輸入他的網(wǎng)站Robots地址，赫然發(fā)現(xiàn)里面禁止了(Disallow命令)蜘蛛的爬行!

　　關(guān)于網(wǎng)站無法訪問，還存在其他可能，比如網(wǎng)絡(luò)運營商異常，即蜘蛛無法通過電信或者網(wǎng)通等服務(wù)商訪問到網(wǎng)站;DNS異常，即蜘蛛無法正常解析網(wǎng)站IP，可能是地址錯誤，也可能是域名商封禁，遇到這種情況需要和域名商聯(lián)系。還有的可能是網(wǎng)頁的死鏈，比如當前頁面已經(jīng)失效或者出錯等，可能部分網(wǎng)頁已經(jīng)批量下線，遇到這種情況，最好的方法是提交死鏈說明;如果是uRL變更導致的舊的URL失效無法訪問，最好設(shè)置301跳轉(zhuǎn)，把舊的URL和相關(guān)權(quán)重過渡到新的頁面來。當然，也可能是搜索引擎本身負荷過大，臨時封禁。

　　針對已經(jīng)抓取回來的數(shù)據(jù)，接著就是蜘蛛進行建庫的環(huán)節(jié)。在這個環(huán)節(jié)里，搜索引擎會依據(jù)一些原則對鏈接的重要性進行判斷。一般來說，判斷的原則如下：內(nèi)容是否原創(chuàng)，如果是，會獲得加權(quán);主體內(nèi)容是否是鮮明的，即核心內(nèi)容是否突出，如果是，會獲得加權(quán);內(nèi)容是否豐富，如果內(nèi)容非常豐富，會獲得加權(quán);用戶體驗是否好，比如頁面比較流暢、廣告加載少等，如果是，會獲得加權(quán)等。http://www.chinamaofa.com/