使用代理IP后返回空,為什么不能全部都成功
上網(wǎng)時(shí)會(huì)有一些不期而遇的問題,比如訪問某網(wǎng)站加載太慢,多刷新了幾次被提示訪問太頻繁IP被限制;網(wǎng)站注冊(cè)了賬號(hào)后提示當(dāng)前IP最多只能注冊(cè)3個(gè)賬號(hào)或者直接封號(hào);發(fā)帖提示已經(jīng)達(dá)到上限,代理IP可以很好的解決這些問題。
代理IP何處有,免費(fèi)代理IP到處有,但實(shí)際能用的非常少;自己寫代碼批量爬取免費(fèi)代理IP做批量驗(yàn)證,但實(shí)際上能用的也并不多,ip的穩(wěn)定和速度也很少能達(dá)到要求;用第三方軟件收集代理IP,可以一鍵吸附和驗(yàn)證,還可以直接右鍵設(shè)置IE代理IP,但收集的IP也很快就失效了,究其原因,免費(fèi)代理IP使用的人太多了。
為了提高效率付費(fèi)購(gòu)買了代理IP,但在使用代理IP訪問網(wǎng)站的時(shí)候發(fā)現(xiàn)并不能達(dá)到100%成功,也有失敗返回空的,最多也就90%左右的成功率,這是為什么呢?因?yàn)椴煌木W(wǎng)站有不同的反爬蟲策略,也就是本文一開始所說的那些情況。所以,在使用同一個(gè)代理IP,在訪問某些網(wǎng)站能夠成功,訪問另一些網(wǎng)站卻會(huì)遭遇訪問失敗的情況,這都是比較常見的情況,因?yàn)橥瑯拥牟呗栽L問不同的網(wǎng)站將會(huì)返回不同的結(jié)果。解決辦法就是針對(duì)不同的網(wǎng)站采取不同的策略,需要好好研究下目標(biāo)網(wǎng)站的反爬策略。
還有很多朋友遇到的情況是這樣的,使用同樣質(zhì)量的一批不同的代理IP加上相同的策略訪問同一個(gè)網(wǎng)站,也會(huì)有的成功有的失敗,當(dāng)下很多代理IP池,如果沒有特殊注明為獨(dú)享IP池,都是共享IP池。免費(fèi)代理IP是最大的共享IP池,面向整個(gè)網(wǎng)絡(luò)用戶共享,收費(fèi)代理IP則是面向自家的付費(fèi)用戶(超低價(jià)的普通代理和開放代理等除外,它們本質(zhì)上還是網(wǎng)上收集的免費(fèi)代理IP)。
既然是共享代理IP池,那么不可避免的就會(huì)有沖突發(fā)生,會(huì)有部分用戶使用相同的部分IP訪問相同的網(wǎng)站。所以,在使用代理IP訪問網(wǎng)站的過程中,會(huì)發(fā)現(xiàn)有一小部分才剛開始使用,就被反爬策略識(shí)別了。那么有什么好的解決辦法呢?
一是選擇購(gòu)買IP池大的共享IP池,比如一天有四五十萬的IP量,而自己本身需要使用的IP量四五萬就可以滿足要求了,很多人會(huì)認(rèn)為太浪費(fèi)了,其實(shí)不然,IP池越大,項(xiàng)目沖突的幾率就越小;
二是選擇購(gòu)買獨(dú)享IP池,一個(gè)人使用的代理IP池,自然就不存在項(xiàng)目沖突的問題了,只不過價(jià)格會(huì)比共享IP池要貴一些。至于如何選擇代理IP池,最終還是要看能不能滿足要求,有的任務(wù)可能用免費(fèi)代理IP就能完成了,有的任務(wù)用收費(fèi)的共享IP池也能滿足要求,有的任務(wù)可能用獨(dú)享IP池會(huì)更好一些。