前言

寫爬蟲的小伙伴可能遇到過(guò)這種情況：

正當(dāng)悠閑地喝著咖啡，滿意地看著屏幕上的那一行行如流水般被爬下來(lái)的數(shù)據(jù)時(shí)，突然一個(gè)Error彈出，提示抓不到數(shù)據(jù)了...

然后你反復(fù)檢查，確信自己代碼莫得問(wèn)題之后，發(fā)現(xiàn)居然連瀏覽器也無(wú)法正常訪問(wèn)網(wǎng)頁(yè)了...

難道是網(wǎng)站被我爬癱瘓了？

然后你用手機(jī)瀏覽所爬網(wǎng)站，驚奇地發(fā)現(xiàn)居然能訪問(wèn)!

才原來(lái)我的IP被網(wǎng)站給封了，拒絕了我的訪問(wèn)

這時(shí)只能用IP代理來(lái)應(yīng)對(duì)禁IP反爬策略了，但是網(wǎng)上高速穩(wěn)定的代理IP大多都收費(fèi)，看了看皺皺的錢包后，一個(gè)大膽的想法冒出

我要白嫖！

啥是IP代理？假如你現(xiàn)在17歲未成年，理想一點(diǎn)的情況會(huì)是，你去商店買煙，老板告訴你未成年不能買煙，并拒絕了你的購(gòu)買，這叫被服務(wù)器拒絕訪問(wèn);

但是你不服氣啊，于是你找來(lái)你20歲的哥哥，叫他去商店老板那幫你買包煙，然后再給你，這就叫IP代理。

ProxyBroker簡(jiǎn)介

ProxyBroker是一個(gè)開(kāi)源軟件，它從各種不同的IP代理網(wǎng)站中抓來(lái)公開(kāi)的代理IP，并實(shí)時(shí)地檢查代理IP的可用性，以供使用。

所以可以說(shuō)ProxyBroker是一個(gè)集成了爬蟲技術(shù)的開(kāi)源軟件。

ProxyBroker安裝

你可以通過(guò)pip來(lái)安裝ProxyBroker

pip install proxybroker

也可以直接從Github下載最新版本的ProxyBroker

pip install -U git+https://github.com/constverum/ProxyBroker.git在終端使用ProxyBroker

安裝成功后，你可以在終端中使用命令proxybroker

proxybroker主要有三個(gè)子命令

find子命令

find子命令用于查找并檢查公開(kāi)的代理IP，換言之它會(huì)列出所有經(jīng)測(cè)試可用的代理IP

下列是find子命令的常用選項(xiàng):

選項(xiàng) 作用 可選值 示例 --types 指定代理的類型 HTTP,HTTPS,SOCKS4,SOCKS5,CONNECT:80,CONNECT:25 --types HTTP HTTPS --lvl 指定代理的匿名級(jí)別 Transparent,Anonymous,High --lvl High --strict,-s 嚴(yán)格保證代理的類型與匿名級(jí)別等于指定的值 只要加上就表示啟用嚴(yán)格模式 --strict --countries COUNTRIES,-c COUNTRIES 指定代理IP的所屬國(guó)家 US,CN... -c CN --limit LIMIT, -l LIMIT 指定獲取的條數(shù) 正整數(shù)即可 -l 5 --outfile OUTFILE, -o OUTFILE 將找到的代理保存到文件中 文件路徑 --outfile ./proxies.txt --format FORMAT, -f FORMAT 指定輸出的格式，默認(rèn)值為default default,json -f json --post 用post請(qǐng)求檢查IP的可用性，默認(rèn)是用get方式 只要加上就表示啟用post請(qǐng)求檢查 --post --show-stats 是否打印詳細(xì)統(tǒng)計(jì)信息 只要加上就表示啟用打印統(tǒng)計(jì)信息 --show-stats

比如查找10條HTTP代理

proxybroker find --types HTTP -l 10

你可以將選項(xiàng)的示例值加上，自己嘗試一下

grab子命令

grab子命令有點(diǎn)像find的簡(jiǎn)易版，它只進(jìn)行查找，并不檢查抓來(lái)IP的可用性

下列是grab子命令的所有選項(xiàng):

選項(xiàng) 作用 可選值 示例 --countries COUNTRIES,-c COUNTRIES 指定代理IP的所屬國(guó)家 US,CN... -c CN --limit LIMIT, -l LIMIT 指定獲取的條數(shù) 正整數(shù)即可 -l 5 --outfile OUTFILE, -o OUTFILE 將找到的代理保存到文件中 文件路徑 --outfile ./proxies.txt --format FORMAT, -f FORMAT 指定輸出的格式，默認(rèn)值為default default,json -f json --show-stats 是否打印詳細(xì)統(tǒng)計(jì)信息 只要加上就表示啟用打印統(tǒng)計(jì)信息 --show-stats

可以看到它有的選項(xiàng)，find子命令都有，所以它是find的閹割版

比如查找5條來(lái)自中國(guó)的代理，并將它保存至文件中

proxybroker grab -c CN -o ./proxies.txt -l 5

serve子命令

serve子命令用于搭建一個(gè)本地代理服務(wù)器，它可以分發(fā)你的請(qǐng)求至不同的IP代理中

下列是serve子命令的常用選項(xiàng):

選項(xiàng) 作用 可選值 示例 --host HOST 指定服務(wù)器的地址，默認(rèn)是127.0.0.1 你本機(jī)的IP --host localhost --port PORT 指定服務(wù)器的端口，默認(rèn)是8888 你本機(jī)可用的端口 --port 5000 --max-tries SRV_MAX_TRIES 設(shè)置處理請(qǐng)求的最大重試次數(shù) 正整數(shù) --max-tries 3 --min-req-proxy MIN_REQ_PROXY 設(shè)置每個(gè)IP處理請(qǐng)求的最小次數(shù) 正整數(shù) --min-req-proxy 3 --http-allowed-codes HTTP_ALLOWED_CODES 設(shè)置允許代理返回的響應(yīng)碼 響應(yīng)的狀態(tài)碼 --http-allowed-codes 302 --max-error-rate MAX_ERROR_RATE 設(shè)置最大允許請(qǐng)求的異常率，例如0.5是50% 0~1 --max-error-rate 0.3 --max-resp-time SECONDS 設(shè)置響應(yīng)的最大允許秒數(shù)，默認(rèn)是8秒 秒數(shù) --max-resp-time 20 --prefer-connect 如果可以的話，是否使用CONNECT方法 只要加上就表示使用 --prefer-connect --backlog BACKLOG 設(shè)置連接隊(duì)列的最大值 正整數(shù)即可 --backlog 10 - - - - --types 指定代理的類型 HTTP,HTTPS,SOCKS4,SOCKS5,CONNECT:80,CONNECT:25 --types HTTP HTTPS --lvl 指定代理的匿名級(jí)別 Transparent,Anonymous,High --lvl High --strict,-s 嚴(yán)格保證代理的類型與匿名級(jí)別等于指定的值 只要加上就表示啟用嚴(yán)格模式 --strict --countries COUNTRIES,-c COUNTRIES 指定代理IP的所屬國(guó)家 US,CN... -c CN --limit LIMIT, -l LIMIT 指定代理池的工作IP條數(shù) 正整數(shù)即可 -l 5

serve子命令搭建代理服務(wù)器，相當(dāng)于把我們本機(jī)變成中間商再中間商

比如在地址為localhost，端口為5000，搭起高匿名代理服務(wù)器

proxybroker serve --host localhost --port 5000 --types HTTP --lvl High

然后先通過(guò)curl命令不使用代理訪問(wèn)一下http://httpbin.org/get這個(gè)地址，查看一下該網(wǎng)站顯示我們的IP是多少

curl http://httpbin.org/get

再使用curl命令通過(guò)我們剛搭起的代理服務(wù)器訪問(wèn)一下，看看網(wǎng)站顯示的IP是否有變化

curl --proxy http://localhost:5000 http://httpbin.org/get

在代碼中使用ProxyBroker

你可以通過(guò)proxybroker serve子命令搭起代理服務(wù)器，然后在發(fā)起請(qǐng)求時(shí)使用該代理，這種方法適用于幾乎所有的編程語(yǔ)言

requests庫(kù)使用代理

先serve搭起代理服務(wù)器

proxybroker serve --host localhost --port 5000 --types HTTP --lvl High

然后通過(guò)requests庫(kù)設(shè)置代理

import requestsproxies = { 'http': 'http://localhost:5000', 'https': 'http://localhost:5000'}res = requests.get(’http://httpbin.org/get’, proxies=proxies)print(res.json())

效果如下

scrapy庫(kù)使用代理

還是先serve搭起代理服務(wù)器，代碼還是和上面一樣

在終端中，通過(guò)scrapy startproject新建一個(gè)爬蟲項(xiàng)目，然后進(jìn)入該項(xiàng)目目錄里

scrapy startproject proxy_democd proxy_demo

通過(guò)scrapy genspider新建一個(gè)爬蟲，名為proxy_spider_demo，域名為httpbin.org

scrapy genspider proxy_spider_demo httpbin.org

然后將下列代碼粘貼至剛剛新建的爬蟲中

import jsonimport scrapy# from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddlewareclass ProxySpiderDemoSpider(scrapy.Spider): name = ’proxy_spider_demo’ allowed_domains = [’httpbin.org’] # start_urls = [’http://httpbin.org/’] def start_requests(self): meta = dict(proxy=’http://localhost:5000’) # 請(qǐng)求三次該網(wǎng)址，查看IP是否不同 for _ in range(3): # 得加上dont_filter=True，否則第2、3個(gè)請(qǐng)求將被dupefilter過(guò)濾 # 請(qǐng)求可以通過(guò)meta攜帶代理服務(wù)器地址，與HttpProxyMiddleware下載器中間件配合達(dá)到代理請(qǐng)求的目的 yield scrapy.Request(’http://httpbin.org/get’, dont_filter=True, meta=meta, callback=self.parse) def parse(self, response): json_body = json.loads(response.text) print(’當(dāng)前請(qǐng)求的IP為：’, json_body[’origin’])

在項(xiàng)目根目錄處進(jìn)入終端，通過(guò)scrapy crawl命令運(yùn)行爬蟲，這里加上了--nolog選項(xiàng)是為了專注于print的輸出

scrapy crawl --nolog proxy_spider_demo

效果如下

python異步獲取代理IP

如果不希望通過(guò)serve子命令，直接在python代碼中使用代理IP，可以通過(guò)asyncio來(lái)異步獲取代理IP

直接上代碼

import asynciofrom proxybroker import Brokerasync def view_proxy(proxies_queue): while True: proxy = await proxies_queue.get()if proxy is None: print(’done...’) break print(proxy)# 異步隊(duì)列proxies_queue = asyncio.Queue()broker = Broker(proxies_queue)tasks = asyncio.gather( # 使用grab子命令獲取3條IP broker.grab(limit=3), view_proxy(proxies_queue))loop = asyncio.get_event_loop()_ = loop.run_until_complete(tasks)

獲取到代理IP后，你可以通過(guò)aiohttp異步HTTP庫(kù)或requests庫(kù)來(lái)使用它們

總結(jié)

你可以利用ProxyBroker庫(kù)來(lái)白嫖免費(fèi)的IP代理，但是白嫖來(lái)的始終是有缺點(diǎn)的，不然也不會(huì)有人專門去賣IP代理了

白嫖來(lái)的IP有穩(wěn)定性差、速度慢的缺點(diǎn)，所以土豪可以忽視本文...

到此這篇關(guān)于python利用proxybroker構(gòu)建爬蟲免費(fèi)IP代理池的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)python IP代理池內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！