python爬蟲用代理ip實現的用途
數據信息采集離不開python爬蟲，而python爬蟲離不開代理ip，他們的結合可以做的事情很多，如搜索引擎、爬蟲、廣告過濾等，python爬蟲還可以用于數據分析，在數據的抓取方面可以產生的作用巨大！
Python爬蟲是由架構組成部分：
1. URL管理器：管理待爬取的url集合和已爬取的url集合，傳送待爬取的url給網頁下載器；
2. 網頁下載器：爬取url對應的網頁，存儲成字符串，傳送給網頁解析器；
3. 網頁解析器：解析出有價值的數據，存儲下來，同時補充url到URL管理器。
Python爬蟲工作原理
Python爬蟲通過URL管理器，判斷是否有待爬URL，如果有待爬URL，通過調度器進行傳遞給下載器，下載URL內容，并通過調度器傳送給解析器，解析URL內容，并將價值數據和新URL列表通過調度器傳遞給應用程序，并輸出價值信息的過程。
Python爬蟲常用框架有：
grab：網絡爬蟲框架（基于pycurl/multicur）；
scrapy：網絡爬蟲框架（基于twisted），不支持Python3；
pyspider：一個強大的爬蟲系統；
cola：一個分布式爬蟲框架；
portia：基于Scrapy的可視化爬蟲；
restkit：Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，并圍繞它建立的對象；
demiurge：基于PyQuery的爬蟲微框架。
Python爬蟲應用領域廣泛，在網絡爬蟲領域處于霸主位置，Scrapy、Request、BeautifuSoap、urlib等框架的應用，可以實現爬行自如的功能，只要您數據抓取想法，Python爬蟲均可實現！
