电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python網絡爬蟲四大選擇器用法原理總結

瀏覽:20日期:2022-07-23 16:10:41

前幾天小編連續寫了四篇關于Python選擇器的文章,分別用正則表達式、BeautifulSoup、Xpath、CSS選擇器分別抓取京東網的商品信息。今天小編來給大家總結一下這四個選擇器,讓大家更加深刻的理解和熟悉Python選擇器。

一、正則表達式

正則表達式為我們提供了抓取數據的快捷方式。雖然該正則表達式更容易適應未來變化,但又存在難以構造、可讀性差的問題。當在爬京東網的時候,正則表達式如下圖所示:

Python網絡爬蟲四大選擇器用法原理總結

利用正則表達式實現對目標信息的精準采集

此外 ,我們都知道,網頁時常會產生變更,導致網頁中會發生一些微小的布局變化時,此時也會使得之前寫好的正則表達式無法滿足需求,而且還不太好調試。當需要匹配的內容有很多的時候,使用正則表達式提取目標信息會導致程序運行的速度減慢,需要消耗更多內存。

二、BeautifulSoup

BeautifulSoup是一個非常流行的 Pyhon 模塊。該模塊可以解析網頁,并提供定位內容的便捷接口。通過’pip install beautifulsoup4’就可以實現該模塊的安裝了。

Python網絡爬蟲四大選擇器用法原理總結

利用美麗的湯去提取目標信息

使用 BeautifulSoup的第一步是將己下載的 HTML 內容解析為 soup文檔。由 于大多 數網 頁都不具備良好的HTML 格式,因此BeautifulSoup需要對實際格式進行確定。BeautifulSoup能夠正確解析缺失的引號并閉合標簽,此外還會添加<html >和<body>標簽使其成為完整的HTML文檔。通常使用find() 和find_all()方法來定位我們需要的元素。如果你想了解BeautifulSoup全部方法和參數,可以查閱BeautifulSoup的官方文檔。雖然BeautifulSoup在代碼的理解上比正則表達式要復雜一些,但是其更加容易構造和理解。

三、Lxml

Lxml模塊使用 C語言編寫,其解析速度比 BeautiflSoup更快,而且其安裝過程也更為復雜,在此小編就不贅述啦。XPath 使用路徑表達式在 XML 文檔中選取節點。節點是通過沿著路徑或者 step 來選取的。

Python網絡爬蟲四大選擇器用法原理總結

Xpath

使用 lxml 模塊的第一步和BeautifulSoup一樣,也是將有可能不合法的HTML 解析為 統一格式。 雖然Lxml可以正確解析屬性兩側缺失的引號,并閉合標簽,不過該模塊沒有額外添加<html >和<body>標簽 。

在線復制Xpath表達式可以很方便的復制Xpath表達式。但是通過該方法得到的Xpath表達式放在程序中一般不能用,而且長的沒法看。所以Xpath表達式一般還是要自己親自上手。

四、CSS

CSS選擇器表示選擇元素所使用 的模式。BeautifulSoup整合了CSS選擇器的語法和自身方便使用API。在網絡爬蟲的開發過程中,對于熟悉CSS選擇器語法的人,使用CSS選擇器是個非常方便的方法。

Python網絡爬蟲四大選擇器用法原理總結

CSS選擇器

下面是一些常用的選擇器示例。

選擇所有標簽: * 選擇<a>標 簽: a 選擇所有class=”link” 的元素: .l in k 選擇 class=”link” 的<a>標簽: a.link 選擇 id= ' home ” 的<a>標簽: a Jhome 選擇父元素為<a>標簽的所有< span>子標簽: a > span 選擇<a>標簽內部的所有<span>標簽: a span 選擇title屬性為” Home ” 的所有<a>標簽: a [title=Home]

五、性能對比

lxml 和正則表達式模塊都是C語言編寫的,而BeautifulSoup則是純Python 編寫的。下表總結了每種抓取方法的優缺點。

Python網絡爬蟲四大選擇器用法原理總結

相對困難需要注意的是。lxml在內部實現中,實際上是將CSS選擇器轉換為等價的Xpath選擇器。

六、總結

如果你的爬蟲瓶頸是下載網頁,而不是抽取數據的話,那么使用較慢的方法(如BeautifulSoup) 也不成問題。如果只需抓取少量數據,并且想要避免額外依賴的話,那么正則表達式可能更加適合。不過,通常情況下,l xml是抓取數據的最好選擇,這是因為該方法既快速又健壯,而正則表達式和BeautifulSoup只在某些特定場景下有用。

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 通风气楼_通风天窗_屋顶风机-山东美创通风设备有限公司 | 天津云仓-天津仓储物流-天津云仓一件代发-顺东云仓 | 广东佛电电器有限公司|防雷开关|故障电弧断路器|智能量测断路器 广东西屋电气有限公司-广东西屋电气有限公司 | 穿线管|波纹穿线管|包塑金属软管|蛇皮管?闵彬专注弱电工程? | 六维力传感器_三维力传感器_二维力传感器-南京神源生智能科技有限公司 | 无锡市珂妮日用化妆品有限公司|珂妮日化官网|洗手液厂家 | 天助网 - 中小企业全网推广平台_生态整合营销知名服务商_天助网采购优选 | 工业淬火油烟净化器,北京油烟净化器厂家,热处理油烟净化器-北京众鑫百科 | 伸缩器_伸缩接头_传力接头-巩义市润达管道设备制造有限公司 | 污泥烘干机-低温干化机-工业污泥烘干设备厂家-焦作市真节能环保设备科技有限公司 | 南溪在线-南溪招聘找工作、找房子、找对象,南溪综合生活信息门户! | 抖音短视频运营_企业网站建设_网络推广_全网自媒体营销-东莞市凌天信息科技有限公司 | 涂层测厚仪_漆膜仪_光学透过率仪_十大创新厂家-果欧电子科技公司 | 对辊破碎机_四辊破碎机_双齿辊破碎机_华盛铭重工 | 加盟店-品牌招商加盟-创业项目商机平台| 雪花制冰机(实验室雪花制冰机)百科 | 灌装封尾机_胶水灌装机_软管灌装封尾机_无锡和博自动化机械制造有限公司 | 焊接烟尘净化器__焊烟除尘设备_打磨工作台_喷漆废气治理设备 -催化燃烧设备 _天津路博蓝天环保科技有限公司 | 挤奶设备过滤纸,牛奶过滤纸,挤奶机过滤袋-济南蓝贝尔工贸有限公司 | 拉力测试机|材料拉伸试验机|电子拉力机价格|万能试验机厂家|苏州皖仪实验仪器有限公司 | 暴风影音| 粘度计NDJ-5S,粘度计NDJ-8S,越平水分测定仪-上海右一仪器有限公司 | 北京易通慧公司从事北京网站优化,北京网络推广、网站建设一站式服务商-北京网站优化公司 | LED灯杆屏_LED广告机_户外LED广告机_智慧灯杆_智慧路灯-太龙智显科技(深圳)有限公司 | 安徽成考网-安徽成人高考网| 济南品牌包装设计公司_济南VI标志设计公司_山东锐尚文化传播 | 自清洗过滤器_全自动过滤器_全自动反冲洗过滤器_量子过滤器-滑漮滴 | 武汉高低温试验箱_恒温恒湿试验箱厂家-武汉蓝锐环境科技有限公司 | 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库 | 宜兴市恺瑞德环保科技有限公司 | 工业制氮机_psa制氮机厂家-宏骁智能装备科技江苏有限公司 | ZHZ8耐压测试仪-上海胜绪电气有限公司| 智能垃圾箱|垃圾房|垃圾分类亭|垃圾分类箱专业生产厂家定做-宿迁市传宇环保设备有限公司 | 河南卓美创业科技有限公司-河南卓美防雷公司-防雷接地-防雷工程-重庆避雷针-避雷器-防雷检测-避雷带-避雷针-避雷塔、机房防雷、古建筑防雷等-山西防雷公司 | 护腰带生产厂家_磁石_医用_热压护腰_登山护膝_背姿矫正带_保健护具_医疗护具-衡水港盛 | 卫浴散热器,卫浴暖气片,卫生间背篓暖气片,华圣格浴室暖气片 | 膜结构停车棚-自行车棚-膜结构汽车棚加工安装厂家幸福膜结构 | 橡胶粉碎机_橡胶磨粉机_轮胎粉碎机_轮胎磨粉机-河南鼎聚重工机械制造有限公司 | 广州冷却塔维修厂家_冷却塔修理_凉水塔风机电机填料抢修-广东康明节能空调有限公司 | 洗石机-移动滚筒式,振动,螺旋,洗矿机-青州冠诚重工机械有限公司 | 闪电优家-卫生间防水补漏_酒店漏水渗水维修_防水堵漏公司 |