电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python爬蟲防封ip的一些技巧

瀏覽:90日期:2022-07-14 18:18:34

在編寫爬蟲爬取數據的時候,因為很多網站都有反爬蟲措施,所以很容易被封IP,就不能繼續爬了。在爬取大數據量的數據時更是瑟瑟發抖,時刻擔心著下一秒IP可能就被封了。

本文就如何解決這個問題總結出一些應對措施,這些措施可以單獨使用,也可以同時使用,效果更好。

偽造User-Agent

在請求頭中把User-Agent設置成瀏覽器中的User-Agent,來偽造瀏覽器訪問。比如:

headers ={’User-Agent’:’Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36’} resp = requests.get(url,headers = headers)

還可以先收集多種瀏覽器的User-Agent,每次發起請求時隨機從中選一個使用,可以進一步提高安全性:

Python爬蟲防封ip的一些技巧

把上面隨機選擇一個User-Agent的代碼封裝成一個函數:

Python爬蟲防封ip的一些技巧

在每次重復爬取之間設置一個隨機時間間隔

比如:

time.sleep(random.randint(0,3)) # 暫停0~3秒的整數秒,時間區間:[0,3]

或:

time.sleep(random.random()) # 暫停0~1秒,時間區間:[0,1)

偽造cookies

若從瀏覽器中可以正常訪問一個頁面,則可以將瀏覽器中的cookies復制過來使用,比如:

Python爬蟲防封ip的一些技巧

注:用瀏覽器cookies發起請求后,如果請求頻率過于頻繁仍會被封IP,這時可以在瀏覽器上進行相應的手工驗證(比如點擊驗證圖片等),然后就可以繼續正常使用該cookies發起請求。

使用代理

可以換著用多個代理IP來進行訪問,防止同一個IP發起過多請求而被封IP,比如:

附:GitHub上的一個'反反爬蟲'項目

道高一尺魔高一丈,你有反爬蟲措施,那我也有各種'反反爬蟲'的措施,GitHub上就有一位大神專門整理了一個這樣的項目:Anti-Anti-Spider,鏈接地址為:github.com/luyishisi/An可以研究一下。

以上就是Python爬蟲防封ip的一些技巧的詳細內容,更多關于Python爬蟲防封ip的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 伟秀电气有限公司-10kv高低压开关柜-高低压配电柜-中置柜-充气柜-欧式箱变-高压真空断路器厂家 | 九州网址_专注于提供网址大全分享推广中文网站导航服务 | 海尔生物医疗四川代理商,海尔低温冰箱四川销售-成都壹科医疗器械有限公司 | 环氧树脂地坪_防静电地坪漆_环氧地坪漆涂料厂家-地壹涂料地坪漆 环球电气之家-中国专业电气电子产品行业服务网站! | 自进式锚杆-自钻式中空注浆锚杆-洛阳恒诺锚固锚杆生产厂家 | 洛阳防爆合格证办理-洛阳防爆认证机构-洛阳申请国家防爆合格证-洛阳本安防爆认证代办-洛阳沪南抚防爆电气技术服务有限公司 | 短信通106短信接口验证码接口群发平台_国际短信接口验证码接口群发平台-速度网络有限公司 | 安徽千住锡膏_安徽阿尔法锡膏锡条_安徽唯特偶锡膏_卡夫特胶水-芜湖荣亮电子科技有限公司 | 档案密集柜_手动密集柜_智能密集柜_内蒙古档案密集柜-盛隆柜业内蒙古密集柜直销中心 | 转向助力泵/水泵/发电机皮带轮生产厂家-锦州华一精工有限公司 | 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | 土壤有机碳消解器-石油|表层油类分析采水器-青岛溯源环保设备有限公司 | 辐射仪|辐射检测仪|辐射巡测仪|个人剂量报警仪|表面污染检测仪|辐射报警仪|辐射防护网 | 臭氧老化试验箱,高低温试验箱,恒温恒湿试验箱,防水试验设备-苏州亚诺天下仪器有限公司 | 贵州成人高考网_贵州成考网| HDPE储罐_厂家-山东九州阿丽贝防腐设备 | 济南保安公司加盟挂靠-亮剑国际安保服务集团总部-山东保安公司|济南保安培训学校 | 氧化锆陶瓷_氧化锆陶瓷加工_氧化锆陶瓷生产厂家-康柏工业陶瓷有限公司 | 阁楼货架_阁楼平台_仓库仓储设备_重型货架_广州金铁牛货架厂 | 空气净化器租赁,空气净化器出租,全国直租_奥司汀净化器租赁 | 高压绝缘垫-红色配电房绝缘垫-绿色高压绝缘地毯-上海苏海电气 | 多功能干燥机,过滤洗涤干燥三合一设备-无锡市张华医药设备有限公司 | 苏州工作服定做-工作服定制-工作服厂家网站-尺品服饰科技(苏州)有限公司 | 超声波电磁流量计-液位计-孔板流量计-料位计-江苏信仪自动化仪表有限公司 | 万博士范文网-您身边的范文参考网站Vanbs.com | 南京PVC快速门厂家南京快速卷帘门_南京pvc快速门_世界500强企业国内供应商_南京美高门业 | 恒温油槽-恒温水槽-低温恒温槽厂家-宁波科麦仪器有限公司 | 保镖公司-私人保镖-深圳保镖公司【环宇兄弟保镖】 | 丹尼克尔拧紧枪_自动送钉机_智能电批_柔性振动盘_螺丝供料器品牌 | 天坛家具官网| 焊锡丝|焊锡条|无铅锡条|无铅锡丝|无铅焊锡线|低温锡膏-深圳市川崎锡业科技有限公司 | 济南玻璃安装_济南玻璃门_济南感应门_济南玻璃隔断_济南玻璃门维修_济南镜片安装_济南肯德基门_济南高隔间-济南凯轩鹏宇玻璃有限公司 | 上海物流公司,上海货运公司,上海物流专线-优骐物流公司 | 抖音短视频运营_企业网站建设_网络推广_全网自媒体营销-东莞市凌天信息科技有限公司 | 进口便携式天平,外校_十万分之一分析天平,奥豪斯工业台秤,V2000防水秤-重庆珂偌德科技有限公司(www.crdkj.com) | 广州中央空调回收,二手中央空调回收,旧空调回收,制冷设备回收,冷气机组回收公司-广州益夫制冷设备回收公司 | 污泥烘干机-低温干化机-工业污泥烘干设备厂家-焦作市真节能环保设备科技有限公司 | 杭州成人高考_浙江省成人高考网上报名 | 定制奶茶纸杯_定制豆浆杯_广东纸杯厂_[绿保佳]一家专业生产纸杯碗的厂家 | 百度关键词优化_网站优化_SEO价格 - 云无限好排名 | 真石漆,山东真石漆,真石漆厂家,真石漆价格-山东新佳涂料有限公司 |