什么是百度蜘蛛的referer

百度蜘蛛的referer，是指當百度蜘蛛抓取某一個URL的時候，在HTTP頭中帶的Referer字段。請注意，這個定義和百度近聲明去除Referer中關鍵詞數據沒有任何關系。這次講的是spider發(fā)起的HTTP請求，百度而去除的是用戶發(fā)起的。如果百度蜘蛛抓取百度首頁的logo，會發(fā)起這樣的請求：

上面Referer字段很明確的表示了他是從www.baidu.com這個頁面上發(fā)現(xiàn)并抓取了www.baidu.com/img/bd_logo1.png。而大家在服務器訪問日志中也應該能看到相應的記錄。目前發(fā)現(xiàn)只有當百度抓取一個網頁的同時，又抓取了網頁中的：img、js和css才會帶上referer字段。這部分額外的抓取量，應該不會占用百度分配的抓取配額，屬于“買1送1”。

對于站長的意義

如果你發(fā)現(xiàn)有一批URL（于img,js,css）報錯（4xx或者5xx），但是一直找不到入口在哪，也是說你不明白百度蜘蛛是從哪里發(fā)現(xiàn)這些錯誤URL的。這個字段可以幫助你迅速定位。

舉個例子

比如我們的seo日志分析系統(tǒng)中可以看到，符合下面這種URL Pattern的路徑每天有6萬到10萬的抓取而且全部報404。

從發(fā)現(xiàn)問題至今過了1個月，查遍整個網站我也沒找到入口。偶然仔細查了一下日志，想起了百度蜘蛛的referer，馬上能定位問題了。這些404的URL來自于一套沒人維護也沒人關注的頁面（往往是這樣）。收錄流量都不錯。由于近公司圖片系統(tǒng)更新，圖片的URL全部更改了，但這套頁面并沒有跟著更新。

如果站點沒有記錄referer怎么辦
iis請在這里勾選“cs(Referer)”：

轉自：百度站長平臺劉明

推薦閱讀