电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python爬蟲Scrapy框架CrawlSpider原理及使用案例

瀏覽:3日期:2022-07-04 17:30:09

提問:如果想要通過爬蟲程序去爬取”糗百“全站數據新聞數據的話,有幾種實現方法?

方法一:基于Scrapy框架中的Spider的遞歸爬去進行實現的(Request模塊回調)

方法二:基于CrawlSpider的自動爬去進行實現(更加簡潔和高效)

一、簡單介紹CrawlSpider

CrawlSpider其實是Spider的一個子類,除了繼承到Spider的特性和功能外,還派生除了其自己獨有的更加強大的特性和功能。其中最顯著的功能就是”LinkExtractors鏈接提取器“。Spider是所有爬蟲的基類,其設計原則只是為了爬取start_url列表中網頁,而從爬取到的網頁中提取出的url進行繼續的爬取工作使用CrawlSpider更合適。

二、使用

1.創建scrapy工程(cmd切換到要創建項目的文件夾下執行):scrapy startproject projectName (如:scrapy startproject crawlPro)

2.創建爬蟲文件(cmd切換到創建的項目下執行):scrapy genspider -t crawl spiderName www.xxx.com (如:scrapy genspider -t crawl crawlDemo www.qiushibaike.com)

--此指令對比以前的指令多了 '-t crawl',表示創建的爬蟲文件是基于CrawlSpider這個類的,而不再是Spider這個基類。

3.啟動爬蟲文件(cmd基于步驟二的路徑執行):scrapy crawl crawlDemo (啟動的一定是name對應的值,如果爬蟲文件與name的值不一致,任然以name的值進行啟動)

觀察生成的爬蟲文件

crawlDemo.py

# -*- coding: utf-8 -*-import scrapy# 導入CrawlSpider相關模塊from scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rule# 表示該爬蟲程序是基于CrawlSpider類的class CrawldemoSpider(CrawlSpider): name = ’crawlDemo’ #爬蟲文件名稱 #allowed_domains = [’www.qiushibaike.com’] start_urls = [’http://www.qiushibaike.com/’] #連接提取器:會去起始url響應回來的頁面中提取指定的url link = LinkExtractor(allow=r’/8hr/page/d+’) #rules元組中存放的是不同的規則解析器(封裝好了某種解析規則) rules = ( #規則解析器:可以將連接提取器提取到的所有連接表示的頁面進行指定規則(回調函數)的解析 Rule(link, callback=’parse_item’, follow=True), ) # 解析方法 def parse_item(self, response): #print(response.url) divs = response.xpath(’//div[@id='content-left']/div’) for div in divs: author = div.xpath(’./div[@class='author clearfix']/a[2]/h2/text()’).extract_first() print(author)

CrawlSpider類和Spider類的最大不同是CrawlSpider多了一個rules屬性,其作用是定義”提取動作“。在rules中可以包含一個或多個Rule對象,在Rule對象中包含了LinkExtractor對象。 

三、生成的爬蟲文件參數介紹

3.1 LinkExtractor:顧名思義,鏈接提取器。

LinkExtractor(

  allow=r’Items/’,# 滿足括號中“正則表達式”的值會被提取,如果為空,則全部匹配。

deny=xxx, # 滿足正則表達式的則不會被提取。

restrict_xpaths=xxx, # 滿足xpath表達式的值會被提取

restrict_css=xxx, # 滿足css表達式的值會被提取

deny_domains=xxx, # 不會被提取的鏈接的domains。 

)

- 作用:提取response中符合規則的鏈接。 

3.2 Rule : 規則解析器。根據鏈接提取器中提取到的鏈接,根據指定規則提取解析器鏈接網頁中的內容。

Rule(LinkExtractor(allow=r’Items/’), callback=’parse_item’, follow=True)

- 參數介紹:

參數1:指定鏈接提取器

參數2:指定規則解析器解析數據的規則(回調函數)

參數3:是否將鏈接提取器繼續作用到鏈接提取器提取出的鏈接網頁中。當callback為None,參數3的默認值為true。

3.3 rules=( ):指定不同規則解析器。一個Rule對象表示一種提取規則。

3.4 CrawlSpider整體爬取流程:

a)爬蟲文件首先根據起始url,獲取該url的網頁內容

b)鏈接提取器會根據指定提取規則將步驟a中網頁內容中的鏈接進行提取

c)規則解析器會根據指定解析規則將鏈接提取器中提取到的鏈接中的網頁內容根據指定的規則進行解析

d)將解析數據封裝到item中,然后提交給管道進行持久化存儲

四、基于CrawlSpider示例

創建爬蟲項目和啟動爬蟲項目以及settings中配置自行完成,在這里不在追贅述

4.1爬蟲文件

# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom qiubaiBycrawl.items import QiubaibycrawlItemimport reclass QiubaitestSpider(CrawlSpider): name = ’qiubaiTest’ #起始url start_urls = [’http://www.qiushibaike.com/’] #定義鏈接提取器,且指定其提取規則 page_link = LinkExtractor(allow=r’/8hr/page/d+/’) rules = ( #定義規則解析器,且指定解析規則通過callback回調函數 Rule(page_link, callback=’parse_item’, follow=True), ) #自定義規則解析器的解析規則函數 def parse_item(self, response): div_list = response.xpath(’//div[@id='content-left']/div’)for div in div_list: #定義item item = QiubaibycrawlItem() #根據xpath表達式提取糗百中段子的作者 item[’author’] = div.xpath(’./div/a[2]/h2/text()’).extract_first().strip(’n’) #根據xpath表達式提取糗百中段子的內容 item[’content’] = div.xpath(’.//div[@class='content']/span/text()’).extract_first().strip(’n’) yield item #將item提交至管道

4.2items文件

# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass QiubaibycrawlItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() author = scrapy.Field() #作者 content = scrapy.Field() #內容

4.3管道文件

# -*- coding: utf-8 -*-# Define your item pipelines here## Don’t forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlclass QiubaibycrawlPipeline(object): def __init__(self): self.fp = None def open_spider(self,spider): print(’開始爬蟲’) self.fp = open(’./data.txt’,’w’) def process_item(self, item, spider): #將爬蟲文件提交的item寫入文件進行持久化存儲 self.fp.write(item[’author’]+’:’+item[’content’]+’n’) return item def close_spider(self,spider): print(’結束爬蟲’) self.fp.close()

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 热回收盐水机组-反应釜冷水机组-高低温冷水机组-北京蓝海神骏科技有限公司 | 球磨机 选矿球磨机 棒磨机 浮选机 分级机 选矿设备厂家 | 盘式曝气器-微孔曝气器-管式曝气器-曝气盘-斜管填料 | 郑州市前程水处理有限公司 | 奇酷教育-Python培训|UI培训|WEB大前端培训|Unity3D培训|HTML5培训|人工智能培训|JAVA开发的教育品牌 | 空气能采暖,热泵烘干机,空气源热水机组|设备|厂家,东莞高温热泵_正旭新能源 | 西安文都考研官网_西安考研辅导班_考研培训机构_西安在职考研培训 | TPU薄膜_TPU薄膜生产厂家_TPU热熔胶膜厂家定制_鑫亘环保科技(深圳)有限公司 | 新疆系统集成_新疆系统集成公司_系统集成项目-新疆利成科技 | 不锈钢散热器,冷却翅片管散热器厂家-无锡市烨晟化工装备科技有限公司 | 大_小鼠elisa试剂盒-植物_人Elisa试剂盒-PCR荧光定量试剂盒-上海一研生物科技有限公司 | 室内室外厚型|超薄型|非膨胀型钢结构防火涂料_隧道专用防火涂料厂家|电话|价格|批发|施工 | 空气能暖气片,暖气片厂家,山东暖气片,临沂暖气片-临沂永超暖通设备有限公司 | 搪瓷搅拌器,搪玻璃搅拌器,搪玻璃冷凝器_厂家-淄博越宏化工设备 | 祝融环境-地源热泵多恒系统高新技术企业,舒适生活环境缔造者! | 玉米加工设备,玉米深加工机械,玉米糁加工设备.玉米脱皮制糁机 华豫万通粮机 | 尊享蟹太太美味,大闸蟹礼卡|礼券|礼盒在线预订-蟹太太官网 | 【甲方装饰】合肥工装公司-合肥装修设计公司,专业从事安徽办公室、店面、售楼部、餐饮店、厂房装修设计服务 | 内窥镜-工业内窥镜厂家【上海修远仪器仪表有限公司】 | 天津拓展_天津团建_天津趣味运动会_天津活动策划公司-天津华天拓展培训中心 | 假肢-假肢价格-假肢厂家-河南假肢-郑州市力康假肢矫形器有限公司 | 大_小鼠elisa试剂盒-植物_人Elisa试剂盒-PCR荧光定量试剂盒-上海一研生物科技有限公司 | 等离子空气净化器_医用空气消毒机_空气净化消毒机_中央家用新风系统厂家_利安达官网 | 沈阳网站建设_沈阳网站制作_沈阳网页设计-做网站就找示剑新零售 沈阳缠绕膜价格_沈阳拉伸膜厂家_沈阳缠绕膜厂家直销 | 刮板输送机,粉尘加湿搅拌机,螺旋输送机,布袋除尘器 | ET3000双钳形接地电阻测试仪_ZSR10A直流_SXJS-IV智能_SX-9000全自动油介质损耗测试仪-上海康登 | 机床导轨_导轨板_滚轮导轨-上海旻佑精密机械有限公司 | 好物生环保网、环保论坛 - 环保人的学习交流平台 | 贵州成人高考网_贵州成考网| 分子蒸馏设备(短程分子蒸馏装置)_上海达丰仪器| 对夹式止回阀厂家,温州对夹式止回阀制造商--永嘉县润丰阀门有限公司 | 湖南印刷厂|长沙印刷公司|画册印刷|挂历印刷|台历印刷|杂志印刷-乐成印刷 | 淘剧影院_海量最新电视剧,免费高清电影随心观看 | 苏州伊诺尔拆除公司_专业酒店厂房拆除_商场学校拆除_办公楼房屋拆除_家工装拆除拆旧 | 济南玻璃安装_济南玻璃门_济南感应门_济南玻璃隔断_济南玻璃门维修_济南镜片安装_济南肯德基门_济南高隔间-济南凯轩鹏宇玻璃有限公司 | 油液红外光谱仪-油液监测系统-燃油嗅探仪-上海冉超光电科技有限公司 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 多物理场仿真软件_电磁仿真软件_EDA多物理场仿真软件 - 裕兴木兰 | 浙江浩盛阀门有限公司| 压装机-卧式轴承轮轴数控伺服压装机厂家[铭泽机械] | 无线对讲-无线对讲系统解决方案-重庆畅博通信 | PCB厂|线路板厂|深圳线路板厂|软硬结合板厂|电路板生产厂家|线路板|深圳电路板厂家|铝基板厂家|深联电路-专业生产PCB研发制造 |