分享幾個可供驗證代理IP有效性的API接口
很多朋友都會在本地搭建IP池,有的是從網站上爬取免費代理IP,有的是購買付費API,從代理IP服務商那邊獲取代理IP,然后放入本地IP池,構建本地IP池API,這樣就可以隨心所欲的調用本地API獲取IP進行使用了。
在本地IP池的運作中,有一個非常重要的行為,那就是驗證IP的有效性,這個行為基本貫穿了代理IP池整個運作過程中:
1、獲取代理IP的時候進行驗證,將有效的IP放入本地IP池;
2、在本地池中,定期進行驗證,不斷的剔除無效IP,保留有效的IP;
3、在取出本地IP池里的IP進行使用前,進行驗證,將有效的提取出來使用,無效的剔除。
由此可見,驗證代理IP的有效性是至關重要的,這個關鍵點沒處理好,將會影響到整個IP池的運作。
那么,怎么驗證代理IP的有效性呢?一般我們是訪問一個很簡單的查詢IP網址或者API接口進行驗證,如果代理IP是有效的,將會返回代理IP,如果是無效的將訪問不了驗證網址或者返回本機IP。因此,驗證代理IP的查詢IP網址或者API接口很重要,這將直接影響驗證結果的走向。之前有一個朋友用的ip138作為驗證網址,用了一段時間發現,有效的IP越來越少,以為是代理IP的質量越來越差,結果發現是ip138網站的問題,換一個驗證網址,結果就截然不同了。
由此可見,驗證網址的選擇很重要,一定要慎重,要選擇簡單的驗證網址或API,不能本身復雜龐大,那樣超時的可能性很大,同時也要考慮到反爬策略,反復的驗證訪問也很有可能觸發反爬策略導致IP被封。
有很多朋友說,上哪去找一個好用的驗證網址呢?這邊搜集了幾個比較好的接口,可以試試看效果如何,當然肯定還有朋友收藏了更好的。
1、http://ip-api.com/json/?lang=zh-CN
2、搜狐IP地址查詢接口(默認GBK):http://pv.sohu.com/cityjson
3、搜狐IP地址查詢接口(可設置編碼):http://pv.sohu.com/cityjson?i...
4、搜狐另外的IP地址查詢接口:http://txt.go.sohu.com/ip/soip
以上就是搜集的一些比較好的,還有一些失效了的就不發了,我們也要經常檢查自己的驗證網址是否已經失效或者受限,這樣才能避免錯誤的結果。