一、多種URL重定向的識別

　　為了讓spider能夠?qū)Χ喾NURL重定向的識別，重定向分別有三類：HTTP 30x重定向、Meta refresh重定向和JS重定向。百度目前也支持Canonical標簽。

　　二、抓取優(yōu)先級調(diào)配

　　想讓搜索引擎抓取網(wǎng)站全部頁面，是沒有百分百的。所以需要在抓取系統(tǒng)設(shè)計抓取優(yōu)先級調(diào)配。

　　抓取優(yōu)先級調(diào)配包含：寬度優(yōu)先遍歷策略、PR優(yōu)先策略、深度優(yōu)先遍歷策略等等。根據(jù)實際情況結(jié)合多種策略使用完善抓取效果。

　　三、重復(fù)URL的過濾

　　網(wǎng)站出現(xiàn)重復(fù)的URL過多，會引發(fā)被降權(quán)。北京腎病醫(yī)院

　　重復(fù)頁面可以使用301重定向，在服務(wù)器端對標準URL進行定義。把不標準的URL都301重定向到標準的URL上。

　　四、暗網(wǎng)數(shù)據(jù)的獲取https://m.fh21.com.cn/news/yldt/jdym/

　　暗網(wǎng)數(shù)據(jù)指的是搜索引擎無法抓取的數(shù)據(jù)。主要因為網(wǎng)站上的數(shù)據(jù)都在網(wǎng)絡(luò)數(shù)據(jù)庫中，spider很難抓取中獲得完整內(nèi)容;其次網(wǎng)絡(luò)環(huán)境和網(wǎng)站本身不符合規(guī)范等問題，導(dǎo)致搜索引擎無法抓取。

　　解決暗網(wǎng)數(shù)據(jù)的問題，可以通過百度站長平臺數(shù)據(jù)提交的方式來解決。

　　五、抓取反作弊

　　Spider在抓取過程中會抓取到低質(zhì)量頁面或者是被黑的頁面。通過分析URL特征、頁面的大小等等原因，完善的抓取反作弊。