电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

python爬蟲利用代理池更換IP的方法步驟

瀏覽:172日期:2022-06-27 13:34:41
0. 前言

周日在爬一個(gè)國(guó)外網(wǎng)站的時(shí)候,發(fā)現(xiàn)用協(xié)程并發(fā)請(qǐng)求,并且請(qǐng)求次數(shù)太快的時(shí)候,會(huì)出現(xiàn)對(duì)方把我的服務(wù)器IP封掉的情況。于是網(wǎng)上找了一下開(kāi)源的python代理池,這里選擇的是star數(shù)比較多的proxy_pool

1. 安裝環(huán)境

# 安裝python虛擬環(huán)境, python環(huán)境最好為python3.6,再往上的話,安裝依賴時(shí)會(huì)報(bào)錯(cuò)sudo apt updatesudo apt install python3.6pip3 install virtualenvvirtualenv venv --python=python3.6source venv/bin/activate# 安裝redissudo apt install redis-server# 啟動(dòng)redis serverredis-server 2. 安裝依賴

git clone https://github.com/jhao104/proxy_pool.gitcd proxy_poolpip install -r requirements.txt3. 修改配置文件

# 修改setting.py # 配置API服務(wù)HOST = '0.0.0.0' # IPPORT = 5010 # 監(jiān)聽(tīng)端口# 配置數(shù)據(jù)庫(kù)# 以下為三個(gè)示例,根據(jù)redis的配置,選擇其中一種即可# 一般啟動(dòng)redis時(shí)如果沒(méi)有配置文件,那么選擇第一種即可# 1. Redis IP: 127.0.0.1 Port: 6379DB_CONN = ’redis://@127.0.0.1:6379’# 2. Redis IP: 127.0.0.1 Port: 6379 Password: 123456DB_CONN = ’redis://:123456@127.0.0.1:6379’# 3. Redis IP: 127.0.0.1 Port: 6379 Password: 123456 DB: 15DB_CONN = ’redis://:123456@127.0.0.1:6379/15’ # 配置 ProxyFetcherPROXY_FETCHER = [ 'freeProxy01', # 這里是啟用的代理抓取方法名,所有fetch方法位于fetcher/proxyFetcher.py 'freeProxy02', # ....]4. 啟動(dòng)

# 可以用tmux開(kāi)三個(gè)窗口# 啟動(dòng)調(diào)度程序python proxyPool.py schedule# 啟動(dòng)webApi服務(wù)python proxyPool.py server5. 測(cè)試

import requestsdef get_proxy(): return requests.get('http://127.0.0.1:5010/get/').json()def delete_proxy(proxy): requests.get('http://127.0.0.1:5010/delete/?proxy={}'.format(proxy))# your spider codedef getHtml(): # .... retry_count = 5 proxy = get_proxy().get('proxy') while retry_count > 0: try: html = requests.get(’http://www.example.com’, proxies={'http': 'http://{}'.format(proxy)}) # 使用代理訪問(wèn) return html except Exception: retry_count -= 1 # 刪除代理池中代理 delete_proxy(proxy) return None

python爬蟲利用代理池更換IP的方法步驟

更多的用法和文檔請(qǐng)參考:document 和 https://github.com/jhao104/proxy_pool

到此這篇關(guān)于python爬蟲利用代理池更換IP的方法步驟的文章就介紹到這了,更多相關(guān)python 代理池更換IP內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 广州展览制作|展台制作工厂|展览设计制作|展览展示制作|搭建制作公司 | 无菌实验室规划装修设计-一体化实验室承包-北京洁净净化工程建设施工-北京航天科恩实验室装备工程技术有限公司 | 地磅-地秤-江阴/无锡地磅-江阴天亿计量设备有限公司_ | 泥浆在线密度计厂家-防爆数字压力表-膜盒-远传压力表厂家-江苏大亚自控设备有限公司 | 搅拌磨|搅拌球磨机|循环磨|循环球磨机-无锡市少宏粉体科技有限公司 | 杭州代理记账多少钱-注册公司代办-公司注销流程及费用-杭州福道财务管理咨询有限公司 | 氟塑料磁力泵-不锈钢离心泵-耐腐蚀化工泵厂家「皖金泵阀」 | 塑料瓶罐_食品塑料瓶_保健品塑料瓶_调味品塑料瓶–东莞市富慷塑料制品有限公司 | 100国际学校招生 - 专业国际学校择校升学规划 | 外观设计_设备外观设计_外观设计公司_产品外观设计_机械设备外观设计_东莞工业设计公司-意品深蓝 | 致胜管家软件服务【在线免费体验】 | 冷水机-冰水机-冷冻机-冷风机-本森智能装备(深圳)有限公司 | 江西自考网 | 智能楼宇-楼宇自控系统-楼宇智能化-楼宇自动化-三水智能化 | 求是网 - 思想建党 理论强党 | 防堵吹扫装置-防堵风压测量装置-电动操作显示器-兴洲仪器 | 浙江美尔凯特智能厨卫股份有限公司 | 背压阀|减压器|不锈钢减压器|减压阀|卫生级背压阀|单向阀|背压阀厂家-上海沃原自控阀门有限公司 本安接线盒-本安电路用接线盒-本安分线盒-矿用电话接线盒-JHH生产厂家-宁波龙亿电子科技有限公司 | 临朐空调移机_空调维修「空调回收」临朐二手空调 | 一体化污水处理设备_生活污水处理设备_全自动加药装置厂家-明基环保 | 新疆乌鲁木齐网站建设-乌鲁木齐网站制作设计-新疆远璨网络 | 垃圾清运公司_环卫保洁公司_市政道路保洁公司-华富环境 | 直线模组_滚珠丝杆滑台_模组滑台厂家_万里疆科技 | 科普仪器菏泽市教育教学仪器总厂 | 破碎机锤头_合金耐磨锤头_郑州宇耐机械工程技术有限公司 | 诸城网站建设-网络推广-网站优化-阿里巴巴托管-诸城恒泰互联 | 河南新乡德诚生产厂家主营震动筛,振动筛设备,筛机,塑料震动筛选机 | 翰墨AI智能写作助手官网_人工智能问答在线AI写作免费一键生成 | 北京发电车出租-发电机租赁公司-柴油发电机厂家 - 北京明旺盛安机电设备有限公司 | 申江储气罐厂家,储气罐批发价格,储气罐规格-上海申江压力容器有限公司(厂) | 玖容气动液压设备有限公司-气液增压缸_压力机_增压机_铆接机_增压器 | 氢氧化钾厂家直销批发-济南金昊化工有限公司 | 变色龙云 - 打包app_原生app_在线制作平台_短链接_ip查询 | 涂层测厚仪_漆膜仪_光学透过率仪_十大创新厂家-果欧电子科技公司 | Maneurop/美优乐压缩机,活塞压缩机,型号规格,技术参数,尺寸图片,价格经销商 | 防爆暖风机_防爆电暖器_防爆电暖风机_防爆电热油汀_南阳市中通智能科技集团有限公司 | 北京律师咨询_知名专业北京律师事务所_免费法律咨询 | 学习安徽网| 悬浮拼装地板_幼儿园_篮球场_悬浮拼接地板-山东悬浮拼装地板厂家 | 法兰连接型电磁流量计-蒸汽孔板节流装置流量计-北京凯安达仪器仪表有限公司 | 新疆散热器,新疆暖气片,新疆电锅炉,光耀暖通公司|