爬蟲技術有哪些
爬蟲概念：Web爬蟲是一種Internet漫游器，可以系統地瀏覽萬維網，通常用于Web索引。網頁搜索引擎和其他一些網站使用網頁爬蟲來更新他們的網頁內容或其他網站網頁內容的索引。
那么爬蟲有哪些技術呢，今天就為大家介紹一些爬蟲技術。
1、設置DOWNLOAD_DELAY
對Scrapy框架而言，在配置文件settings.py中設置DOWNLOAD_DELAY即可。DOWNLOAD_DELAY = 3
2、減少請求頻率。
3、禁止使用Cookie。
有些網站會通過Cookie找到爬蟲的軌跡。所以，如果沒有特殊需求，可以禁用Cookie，這樣網站就不能通過Cookie找到爬蟲。COOKIES_ENABLED = False
爬蟲系統的核心部件之一是HTML web下載器，下載web需要實現HTML請求，在python中實現HTML請求的常用庫主要有urllib庫和requests庫兩種。
以上就是爬蟲技術的介紹，我們在使用python中的一些庫時，有細心的小伙伴會發現本篇所介紹的爬蟲技術的身影。
（推薦操作系統：windows7系統、Python 3.9.1、DELL G3電腦。）
