在Python中怎么設置ip代理來使用的?
在Pyhton中要怎么使用ip代理?我們經常說ip代理能夠讓Python更好的發揮爬蟲效果，首先我們要懂得如何在python語言中設置ip代理來利用?！ ?br/>
1、urllib模塊設置代理
如果我們頻繁用一個IP去爬取同一個網站的內容，很可能會被網站封殺IP。其中一種比較常見的方式就是設置ip代理?！ ?br/>
from urllib import request proxy = 'http://39.134.93.12:80' proxy_support = request.ProxyHandler({'http': proxy}) opener = request.build_opener(proxy_support) request.install_opener(opener) result = request.urlopen('http://baidu.com')
首先我們需要構建一個ProxyHandler類，隨后將該類用于構建網頁代開的opener的類，最后在request中安裝opener
2、requests模塊使用代理
該模塊設置代理非常容易 import requests proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080' } r = requests.get('http://icanhazip.com', proxies=proxies)
ip代理利用得當，我們的爬蟲將不會輕易被網站禁止，這樣就可以順利抓取到我們需要的數據信息，幫助了我們爬蟲的效果。
