網頁抓取五種常用的HTTP標頭
在網絡抓取方面，大家經常會討論兩個問題：一個是如何避免被目標服務器封鎖，另一個則是如何提高檢索數據的質量。在現有階段來說，有效的技術可以防止被目標網站封鎖，例如用戶們常用的代理和實用的IP地址輪換。不過其實還有一項技術也能發揮類似作用，卻經常被忽略，那就是使用和優化HTTP標頭。這種方法同樣能夠降低的網絡爬蟲被各種數據源封鎖的可能性，并確保檢索到高質量的數據。接下來就來了解一下常用的五種標頭：
HTTP Header User-Agent
User-Agent Header傳遞的信息包括應用類型，操作系統，軟件和版本信息，并允許數據目標來決定使用何種類型的HTML布局來響應，手機、平板電腦或PC均可顯示不同的HTML布局。
網絡服務器經常會驗證User-Agent Header，這是網站服務器的第一重保障，這個步驟可以讓數據源識別出可疑請求，因此，有經驗的爬蟲工作者會把User-Agent Header修改成不同的字符串，從而讓服務器識別成是多個自然用戶在發出請求。
HTTP Header Accept-Language
Accept-Language Header向網絡服務器傳遞的信息包含客戶端有哪些語言，以及當網絡服務器發回響應時首選哪種特定語言。當網絡服務器無法識別首選語言時，通常會使用特定Header。
HTTP Header Accept-Encoding
Accept-Encoding Header通知網絡服務器在處理請求時使用哪種壓縮算法。換句話說，當從網絡服務器發送到客戶端時，如果服務器可以處理，就會確認可以壓縮的信息。使用該Header優化后它可以節省流量，從流量負載的角度來看，這對客戶端和網絡服務器來說都比較好。
HTTP Header Accept
Accept Header屬于內容協商類別，其目的是通知網絡服務器可以向客戶端返回什么類型的數據格式。如果Accept Header配置得當，就會讓客戶端和服務器之間的通信更加像真實用戶行為，從而減少網絡爬蟲被封鎖的可能性。
HTTP Header Referer
在將請求發送到網絡服務器之前，Referer Header會提供請求前用戶所在的網頁地址。在網站試圖阻止抓取過程時，Referer Header其實影響不大。一個隨機的真實用戶很可能上網時間間隔數小時。
