爬蟲使用高匿代理IP是不是就可以不被發(fā)現(xiàn)？
很多新人覺得用了高隱藏的代理IP，我們在抓取目標(biāo)網(wǎng)站的信息時不會被識別和限制。但接觸一段時間后發(fā)現(xiàn)事實并非如此，高希的代理IP依然會被禁止和限制為什么？要回答這個問題，我們需要知道代理IP難以被識別的原因。
與通用代理相比，高用途代理IP不修改用戶請求數(shù)據(jù)，而服務(wù)器通過客戶端發(fā)送的請求信息字段識別是否使用代理IP，通過抓取數(shù)據(jù)包中的REMOTE_ADDR、HTTP_VIA、HTTP_X_FORWARDED_FOR三個字段進行識別。但是在發(fā)送請求數(shù)據(jù)時，高隱藏的代理IP不會改變用戶的請求數(shù)據(jù)，所以可以通過這三個字段判斷是否是代理IP。
通過高隱藏代理IP訪問就像真實用戶通過瀏覽器訪問一樣，所以高隱藏代理IP不容易被識別。
那么為什么高隱藏代理IP會受到限制呢？高隱藏代理IP模擬真實用戶的訪問，所以它的活躍度要和真實用戶的活躍度數(shù)據(jù)相匹配。如果出現(xiàn)異常情況，可能會判斷為代理IP或惡意訪問IP，并進行封禁或限制。
爬蟲的爬行效率很高。一秒鐘幾十上百個請求是小吻，但正常的訪問用戶不可能有這樣的訪問頻率。當(dāng)這種情況發(fā)生時，大概率會觸發(fā)相關(guān)的防御機制，也就是說高安全性的代理IP被禁止或限制。用戶的請求行為太不正常了，即使他沒有使用代理IP，但是他的真實IP在發(fā)出請求，這樣的行為也會受到限制。
因此，在使用高隱藏代理IP時，必須控制訪問頻率和爬取速率。高隱藏代理IP用于最大化工作效率和保證工作的穩(wěn)定性，只要我們使用得當(dāng)，不觸發(fā)網(wǎng)站的防御機制，高隱藏代理IP是不會被限制的。
