电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python urllib.request模塊的使用詳解

瀏覽:6日期:2022-06-24 15:27:59

python的urllib模塊提供了一系列操作url的功能,可以讓我們通過url打開任意資源。其中比較常用的就是request模塊,本篇主要介紹requset模塊。

urllib子模塊 urllib.request 打開或請求url urllib.error 捕獲處理請求時產生的異常 urllib.parse 解析url urllib.robotparser 用于解析robots.txt文件

robots.txt是一種存放于網站根目錄下文本文件,用來告訴網絡爬蟲服務器上的那些文件可以被查看。又被成為robots協議,是一種約定俗成的協議。

request模塊function request.urlopen()

urlopen方法用來打開資源url,常用帶參數形式urlopen(url,data=None),url:資源url,data:攜帶的數據。

方法的返回值始終為一個對象,并可以調用相應的方法獲取返回的信息。其中對于http及https的url來說會返回一個http.client.HTTPResponse對象;

import urllib.request# 我們用本地的一個簡單html文件來測試url = ’http://127.0.0.1:8848/chenjy/test.html’req = urllib.request.urlopen(url)print(req)

python urllib.request模塊的使用詳解

1. read() 返回服務器返回的原始數據;

import urllib.requesturl =’http://127.0.0.1:8848/chenjy/test.html’req = urllib.request.urlopen(url)print(req.read())

python urllib.request模塊的使用詳解

我們可以再調用decode()方法來解碼。

import urllib.requesturl = ’http://127.0.0.1:8848/chenjy/test.html’req = urllib.request.urlopen(url)print(req.read().decode())

python urllib.request模塊的使用詳解

2.geturl() 返回獲取資源的url;

創建一個測試頁

import urllib.requesturl = ’http://127.0.0.1:8848/chenjy/test.html’ req = urllib.request.urlopen(url)print(req.geturl())

python urllib.request模塊的使用詳解

前端重定向

我們在頁面中添加js腳本重定向頁面window.location.href=’http://127.0.0.1:8848/chenjy/test2.html’;,會發現訪問的時候會重定向到test2,但是geturl還是獲取的重定向前的

python urllib.request模塊的使用詳解

后端重定向

我們啟動一個項目并添加一個攔截器當訪問index.html的時候重定向到/ls/html/list.html頁面,geturl獲取的是重定向后的頁面

@Override public void handle(String target, HttpServletRequest request, HttpServletResponse response, boolean[] isHandled) {int index = target.lastIndexOf('index.html'); if (index != -1){HandlerKit.redirect('/ls/html/list.html',request,response,isHandled); } }

import urllib.requesturl = ’http://localhost:8088/ls/index.html’req = urllib.request.urlopen(url)print(req.geturl())

python urllib.request模塊的使用詳解

3.info() 返回頁面的元信息;

import urllib.requesturl = ’http://127.0.0.1:8848/chenjy/test.html’req = urllib.request.urlopen(url)print(req.info())

python urllib.request模塊的使用詳解

4.getcode() 返回頁面的狀態碼;

import urllib.requesturl = ’http://127.0.0.1:8848/chenjy/test.html’req = urllib.request.urlopen(url)print(req.getcode())

python urllib.request模塊的使用詳解

class request.Request

url請求類 Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

url:請求url data:請求傳參;bytes字節流 headers:請求頭 origin_req_host:請求原始主機;不帶端口 unverifiable:是否不可驗證; method :請求方法;如GET、POST、PUT等

import urllib.request# 模擬iphone5請求百度手機版頁面url = ’https://www.baidu.com/’user_agent = ’Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1’headers = { ’User-Agent’: user_agent}# 抓取page信息req = urllib.request.Request(url, headers=headers,method=’GET’)page = urllib.request.urlopen(req).read().decode(’utf-8’)print(page)

python urllib.request模塊的使用詳解

以上就是python urllib.request模塊的使用詳解的詳細內容,更多關于python urllib.request模塊的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 挤出熔体泵_高温熔体泵_熔体出料泵_郑州海科熔体泵有限公司 | 上海佳武自动化科技有限公司 | 云杂志网-学术期刊-首页| 河南档案架,档案密集架,手动密集架,河南密集架批发/报价 | 制丸机,小型中药制丸机,全自动制丸机价格-甘肃恒跃制药设备有限公司 | 气象监测系统_气象传感器_微型气象仪_气象环境监测仪-山东风途物联网 | 日本东丽膜_反渗透膜_RO膜价格_超滤膜_纳滤膜-北京东丽阳光官网 日本细胞免疫疗法_肿瘤免疫治疗_NK细胞疗法 - 免疫密码 | 股指期货-期货开户-交易手续费佣金加1分-保证金低-期货公司排名靠前-万利信息开户 | 低浓度恒温恒湿称量系统,强光光照培养箱-上海三腾仪器有限公司 | 直读光谱仪,光谱分析仪,手持式光谱仪,碳硫分析仪,创想仪器官网 | 工装定制/做厂家/公司_工装订做/制价格/费用-北京圣达信工装 | 气弹簧定制-气动杆-可控气弹簧-不锈钢阻尼器-工业气弹簧-可调节气弹簧厂家-常州巨腾气弹簧供应商 | 铸铝门厂家,别墅大门庭院大门,别墅铸铝门铜门[十大品牌厂家]军强门业 | 碳纤维复合材料制品生产定制工厂订制厂家-凯夫拉凯芙拉碳纤维手机壳套-碳纤维雪茄盒外壳套-深圳市润大世纪新材料科技有限公司 | 淋巴细胞分离液_口腔医疗器材-精欣华医疗器械(无锡)有限公司 | 玉米加工设备,玉米深加工机械,玉米糁加工设备.玉米脱皮制糁机 华豫万通粮机 | 聚丙烯酰胺PAM-聚合氯化铝PAC-絮凝剂-河南博旭环保科技有限公司 巨野电机维修-水泵维修-巨野县飞宇机电维修有限公司 | 布袋式除尘器|木工除尘器|螺旋输送机|斗式提升机|刮板输送机|除尘器配件-泊头市德佳环保设备 | 北京宣传片拍摄_产品宣传片拍摄_宣传片制作公司-现像传媒 | 皮带式输送机械|链板式输送机|不锈钢输送机|网带输送机械设备——青岛鸿儒机械有限公司 | 闸阀_截止阀_止回阀「生产厂家」-上海卡比阀门有限公司 | 石栏杆_青石栏杆_汉白玉栏杆_花岗岩栏杆 - 【石雕之乡】点石石雕石材厂 | 沈阳液压泵_沈阳液压阀_沈阳液压站-沈阳海德太科液压设备有限公司 | 福兰德PVC地板|PVC塑胶地板|PVC运动地板|PVC商用地板-中国弹性地板系统专业解决方案领先供应商! 福建成考网-福建成人高考网 | 婚博会2024时间表_婚博会门票领取_婚博会地址-婚博会官网 | 龙门加工中心-数控龙门加工中心厂家价格-山东海特数控机床有限公司_龙门加工中心-数控龙门加工中心厂家价格-山东海特数控机床有限公司 | 石膏基自流平砂浆厂家-高强石膏基保温隔声自流平-轻质抹灰石膏粉砂浆批发-永康市汇利建设有限公司 | 防爆电机_防爆电机型号_河南省南洋防爆电机有限公司 | 沙盘模型公司_沙盘模型制作公司_建筑模型公司_工业机械模型制作厂家 | 对夹式止回阀厂家,温州对夹式止回阀制造商--永嘉县润丰阀门有限公司 | 东莞喷砂机-喷砂机-喷砂机配件-喷砂器材-喷砂加工-东莞市协帆喷砂机械设备有限公司 | 家庭教育吧-在线家庭教育平台,专注青少年家庭教育 | 焊接烟尘净化器__焊烟除尘设备_打磨工作台_喷漆废气治理设备 -催化燃烧设备 _天津路博蓝天环保科技有限公司 | 注塑模具_塑料模具_塑胶模具_范仕达【官网】_东莞模具设计与制造加工厂家 | 【MBA备考网】-2024年工商管理硕士MBA院校/报考条件/培训/考试科目/提前面试/考试/学费-MBA备考网 | 玻璃瓶厂家_酱菜瓶厂家_饮料瓶厂家_酒瓶厂家_玻璃杯厂家_徐州东明玻璃制品有限公司 | 杭州厂房降温,车间降温设备,车间通风降温,厂房降温方案,杭州嘉友实业爽风品牌 | 青岛侦探_青岛侦探事务所_青岛劝退小三_青岛婚外情取证-青岛王军侦探事务所 | 安徽净化板_合肥岩棉板厂家_玻镁板厂家_安徽科艺美洁净科技有限公司 | 衬氟止回阀_衬氟闸阀_衬氟三通球阀_衬四氟阀门_衬氟阀门厂-浙江利尔多阀门有限公司 | 衬四氟_衬氟储罐_四氟储罐-无锡市氟瑞特防腐科技有限公司 |