python利用proxybroker构建爬虫免费IP代理池的实现
前言
写爬虫的小伙伴可能遇到过这种情况:
正当悠闲地喝着咖啡,满意地看着屏幕上的那一行行如流水般被爬下来的数据时,突然一个Error弹出,提示抓不到数据了...
然后你反复检查,确信自己代码莫得问题之后,发现居然连浏览器也无法正常访问网页了...
难道是网站被我爬瘫痪了?
然后你用手机浏览所爬网站,惊奇地发现居然能访问!
才原来我的IP被网站给封了,拒绝了我的访问
这时只能用IP代理来应对禁IP反爬策略了,但是网上高速稳定的代理IP大多都收费,看了看皱皱的钱包后,一个大胆的想法冒出
我要白嫖!
啥是IP代理?假如你现在17岁未成年,理想一点的情况会是,你去商店买烟,老板告诉你未成年不能买烟,并拒绝了你的购买,这叫被服务器拒绝访问;
但是你不服气啊,于是你找来你20岁的哥哥,叫他去商店老板那帮你买包烟,然后再给你,这就叫IP代理。
ProxyBroker简介
ProxyBroker是一个开源软件,它从各种不同的IP代理网站中抓来公开的代理IP,并实时地检查代理IP的可用性,以供使用。
所以可以说ProxyBroker是一个集成了爬虫技术的开源软件。
ProxyBroker安装
你可以通过pip来安装ProxyBroker
pip install proxybroker
也可以直接从Github下载最新版本的ProxyBroker
pip install -U git+https://github.com/constverum/ProxyBroker.git
在终端使用ProxyBroker
安装成功后,你可以在终端中使用命令proxybroker
proxybroker主要有三个子命令
find子命令
find子命令用于查找并检查公开的代理IP,换言之它会列出所有经测试可用的代理IP
下列是find子命令的常用选项:
选项 | 作用 | 可选值 | 示例 |
---|---|---|---|
--types | 指定代理的类型 | HTTP,HTTPS,SOCKS4,SOCKS5,CONNECT:80,CONNECT:25 | --types HTTP HTTPS |
--lvl | 指定代理的匿名级别 | Transparent,Anonymous,High | --lvl High |
--strict,-s | 严格保证代理的类型与匿名级别等于指定的值 | 只要加上就表示启用严格模式 | --strict |
--countries COUNTRIES,-c COUNTRIES | 指定代理IP的所属国家 | US,CN... | -c CN |
--limit LIMIT, -l LIMIT | 指定获取的条数 | 正整数即可 | -l 5 |
--outfile OUTFILE, -o OUTFILE | 将找到的代理保存到文件中 | 文件路径 | --outfile ./proxies.txt |
--format FORMAT, -f FORMAT | 指定输出的格式,默认值为default | default,json | -f json |
--post | 用post请求检查IP的可用性,默认是用get方式 | 只要加上就表示启用post请求检查 | --post |
--show-stats | 是否打印详细统计信息 | 只要加上就表示启用打印统计信息 | --show-stats |
比如查找10条HTTP代理
proxybroker find --types HTTP -l 10
你可以将选项的示例值加上,自己尝试一下
grab子命令
grab子命令有点像find的简易版,它只进行查找,并不检查抓来IP的可用性
下列是grab子命令的所有选项:
选项 | 作用 | 可选值 | 示例 |
---|---|---|---|
--countries COUNTRIES,-c COUNTRIES | 指定代理IP的所属国家 | US,CN... | -c CN |
--limit LIMIT, -l LIMIT | 指定获取的条数 | 正整数即可 | -l 5 |
--outfile OUTFILE, -o OUTFILE | 将找到的代理保存到文件中 | 文件路径 | --outfile ./proxies.txt |
--format FORMAT, -f FORMAT | 指定输出的格式,默认值为default | default,json | -f json |
--show-stats | 是否打印详细统计信息 | 只要加上就表示启用打印统计信息 | --show-stats |
可以看到它有的选项,find子命令都有,所以它是find的阉割版
比如查找5条来自中国的代理,并将它保存至文件中
proxybroker grab -c CN -o ./proxies.txt -l 5
serve子命令
serve子命令用于搭建一个本地代理服务器,它可以分发你的请求至不同的IP代理中
下列是serve子命令的常用选项:
选项 | 作用 | 可选值 | 示例 |
---|---|---|---|
--host HOST | 指定服务器的地址,默认是127.0.0.1 | 你本机的IP | --host localhost |
--port PORT | 指定服务器的端口,默认是8888 | 你本机可用的端口 | --port 5000 |
--max-tries SRV_MAX_TRIES | 设置处理请求的最大重试次数 | 正整数 | --max-tries 3 |
--min-req-proxy MIN_REQ_PROXY | 设置每个IP处理请求的最小次数 | 正整数 | --min-req-proxy 3 |
--http-allowed-codes HTTP_ALLOWED_CODES | 设置允许代理返回的响应码 | 响应的状态码 | --http-allowed-codes 302 |
--max-error-rate MAX_ERROR_RATE | 设置最大允许请求的异常率,例如0.5是50% | 0~1 | --max-error-rate 0.3 |
--max-resp-time SECONDS | 设置响应的最大允许秒数,默认是8秒 | 秒数 | --max-resp-time 20 |
--prefer-connect | 如果可以的话,是否使用CONNECT方法 | 只要加上就表示使用 | --prefer-connect |
--backlog BACKLOG | 设置连接队列的最大值 | 正整数即可 | --backlog 10 |
- | - | - | - |
--types | 指定代理的类型 | HTTP,HTTPS,SOCKS4,SOCKS5,CONNECT:80,CONNECT:25 | --types HTTP HTTPS |
--lvl | 指定代理的匿名级别 | Transparent,Anonymous,High | --lvl High |
--strict,-s | 严格保证代理的类型与匿名级别等于指定的值 | 只要加上就表示启用严格模式 | --strict |
--countries COUNTRIES,-c COUNTRIES | 指定代理IP的所属国家 | US,CN... | -c CN |
--limit LIMIT, -l LIMIT | 指定代理池的工作IP条数 | 正整数即可 | -l 5 |
serve子命令搭建代理服务器,相当于把我们本机变成中间商再中间商
比如在地址为localhost,端口为5000,搭起高匿名代理服务器
proxybroker serve --host localhost --port 5000 --types HTTP --lvl High
然后先通过curl命令不使用代理访问一下http://httpbin.org/get这个地址,查看一下该网站显示我们的IP是多少
curl http://httpbin.org/get
再使用curl命令通过我们刚搭起的代理服务器访问一下,看看网站显示的IP是否有变化
curl --proxy http://localhost:5000 http://httpbin.org/get
在代码中使用ProxyBroker
你可以通过proxybroker serve子命令
搭起代理服务器,然后在发起请求时使用该代理,这种方法适用于几乎所有的编程语言
requests库使用代理
先serve搭起代理服务器
proxybroker serve --host localhost --port 5000 --types HTTP --lvl High
然后通过requests库设置代理
import requests proxies = { "http": "http://localhost:5000", "https": "http://localhost:5000" } res = requests.get('http://httpbin.org/get', proxies=proxies) print(res.json())
效果如下
scrapy库使用代理
还是先serve搭起代理服务器,代码还是和上面一样
在终端中,通过scrapy startproject
新建一个爬虫项目,然后进入该项目目录里
scrapy startproject proxy_demo cd proxy_demo
通过scrapy genspider
新建一个爬虫,名为proxy_spider_demo
,域名为httpbin.org
scrapy genspider proxy_spider_demo httpbin.org
然后将下列代码粘贴至刚刚新建的爬虫中
import json import scrapy # from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware class ProxySpiderDemoSpider(scrapy.Spider): name = 'proxy_spider_demo' allowed_domains = ['httpbin.org'] # start_urls = ['http://httpbin.org/'] def start_requests(self): meta = dict(proxy='http://localhost:5000') # 请求三次该网址,查看IP是否不同 for _ in range(3): # 得加上dont_filter=True,否则第2、3个请求将被dupefilter过滤 # 请求可以通过meta携带代理服务器地址,与HttpProxyMiddleware下载器中间件配合达到代理请求的目的 yield scrapy.Request('http://httpbin.org/get', dont_filter=True, meta=meta, callback=self.parse) def parse(self, response): json_body = json.loads(response.text) print('当前请求的IP为:', json_body['origin'])
在项目根目录处进入终端,通过scrapy crawl
命令运行爬虫,这里加上了--nolog
选项是为了专注于print的输出
scrapy crawl --nolog proxy_spider_demo
效果如下
python异步获取代理IP
如果不希望通过serve子命令,直接在python代码中使用代理IP,可以通过asyncio来异步获取代理IP
直接上代码
import asyncio from proxybroker import Broker async def view_proxy(proxies_queue): while True: proxy = await proxies_queue.get() if proxy is None: print('done...') break print(proxy) # 异步队列 proxies_queue = asyncio.Queue() broker = Broker(proxies_queue) tasks = asyncio.gather( # 使用grab子命令获取3条IP broker.grab(limit=3), view_proxy(proxies_queue)) loop = asyncio.get_event_loop() _ = loop.run_until_complete(tasks)
获取到代理IP后,你可以通过aiohttp
异步HTTP库或requests
库来使用它们
总结
你可以利用ProxyBroker库来白嫖免费的IP代理,但是白嫖来的始终是有缺点的,不然也不会有人专门去卖IP代理了
白嫖来的IP有稳定性差、速度慢的缺点,所以土豪可以忽视本文...
到此这篇关于python利用proxybroker构建爬虫免费IP代理池的实现的文章就介绍到这了,更多相关python IP代理池内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-25
- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要介绍了Python绘制的爱心树与表白代码,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-06