一、抓取友好性：抓取壓力調(diào)配降低對(duì)網(wǎng)站的訪問壓力

　　帶寬造成訪問壓力大，會(huì)直接影響網(wǎng)站的正常用戶訪問，為了不影響網(wǎng)站的正常用戶訪問，又能讓spider抓取有價(jià)值性的頁(yè)面。

　　1、IP壓力控制

　　如果一個(gè)域名下存在多個(gè)IP，或者是多個(gè)域名下對(duì)應(yīng)同一個(gè)IP，需要根據(jù)IP和域名多種條件進(jìn)行壓力調(diào)配控制。也可以在站長(zhǎng)平臺(tái)中使用壓力反饋工具，人工調(diào)配對(duì)網(wǎng)站的抓取壓力，這樣spider會(huì)優(yōu)先根據(jù)站長(zhǎng)的要求進(jìn)行抓取壓力控制。

　　2、站點(diǎn)的抓取速度

　　如果在同一個(gè)站點(diǎn)，抓取速度控制有兩類：第一類，一段時(shí)間內(nèi)的抓取頻率;第二類，一段時(shí)間內(nèi)的抓取流量。同一個(gè)站點(diǎn)在不同的時(shí)間內(nèi)抓取的速度是不同的，根據(jù)站點(diǎn)的類型來(lái)設(shè)置。

　　二、常用抓取返回碼示意

　　1、404：“NOT FOUND”，表示該網(wǎng)頁(yè)已經(jīng)失效，通常在庫(kù)中刪除，spider如果發(fā)現(xiàn)這條URL是不會(huì)抓取的。京東譽(yù)美腎病醫(yī)院

　　2、503：“Service Unavailable”，表示該網(wǎng)頁(yè)暫時(shí)不能訪問。網(wǎng)頁(yè)返回503狀態(tài)碼，百度spider不會(huì)直接刪除這條URL，再訪問多次的情況下，網(wǎng)頁(yè)如果恢復(fù)正常，就能正常抓取。如果繼續(xù)返回503，才會(huì)認(rèn)為是失效鏈接，從庫(kù)中刪除。

　　3、403：“Forbidden”， 表示該網(wǎng)頁(yè)目前禁止訪問。如果生成的是新的URL，spider是暫時(shí)不會(huì)抓取，也是會(huì)再訪問多次;如果是被收錄的URL，不會(huì)直接刪除，短期內(nèi)同樣反復(fù)訪問幾次。如果網(wǎng)頁(yè)正常訪問，則正常抓取;如果仍然禁止訪問，那么這條URL也會(huì)被認(rèn)為是失效鏈接，從庫(kù)中刪除。https://m.fh21.com.cn/yyk/yiyuan_jdym/

　　4、301：“Moved Permanently”， 表示該網(wǎng)頁(yè)重定向到新的URL。如果站點(diǎn)需要更換域名、站點(diǎn)改版的情況下，需要設(shè)置301重定向，也可以在站長(zhǎng)平臺(tái)上網(wǎng)站改版工具提交，有效減少網(wǎng)站的流量損失。