电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python爬蟲Scrapy框架CrawlSpider原理及使用案例

瀏覽:2日期:2022-07-04 17:30:09

提問:如果想要通過爬蟲程序去爬取”糗百“全站數據新聞數據的話,有幾種實現方法?

方法一:基于Scrapy框架中的Spider的遞歸爬去進行實現的(Request模塊回調)

方法二:基于CrawlSpider的自動爬去進行實現(更加簡潔和高效)

一、簡單介紹CrawlSpider

CrawlSpider其實是Spider的一個子類,除了繼承到Spider的特性和功能外,還派生除了其自己獨有的更加強大的特性和功能。其中最顯著的功能就是”LinkExtractors鏈接提取器“。Spider是所有爬蟲的基類,其設計原則只是為了爬取start_url列表中網頁,而從爬取到的網頁中提取出的url進行繼續的爬取工作使用CrawlSpider更合適。

二、使用

1.創建scrapy工程(cmd切換到要創建項目的文件夾下執行):scrapy startproject projectName (如:scrapy startproject crawlPro)

2.創建爬蟲文件(cmd切換到創建的項目下執行):scrapy genspider -t crawl spiderName www.xxx.com (如:scrapy genspider -t crawl crawlDemo www.qiushibaike.com)

--此指令對比以前的指令多了 '-t crawl',表示創建的爬蟲文件是基于CrawlSpider這個類的,而不再是Spider這個基類。

3.啟動爬蟲文件(cmd基于步驟二的路徑執行):scrapy crawl crawlDemo (啟動的一定是name對應的值,如果爬蟲文件與name的值不一致,任然以name的值進行啟動)

觀察生成的爬蟲文件

crawlDemo.py

# -*- coding: utf-8 -*-import scrapy# 導入CrawlSpider相關模塊from scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rule# 表示該爬蟲程序是基于CrawlSpider類的class CrawldemoSpider(CrawlSpider): name = ’crawlDemo’ #爬蟲文件名稱 #allowed_domains = [’www.qiushibaike.com’] start_urls = [’http://www.qiushibaike.com/’] #連接提取器:會去起始url響應回來的頁面中提取指定的url link = LinkExtractor(allow=r’/8hr/page/d+’) #rules元組中存放的是不同的規則解析器(封裝好了某種解析規則) rules = ( #規則解析器:可以將連接提取器提取到的所有連接表示的頁面進行指定規則(回調函數)的解析 Rule(link, callback=’parse_item’, follow=True), ) # 解析方法 def parse_item(self, response): #print(response.url) divs = response.xpath(’//div[@id='content-left']/div’) for div in divs: author = div.xpath(’./div[@class='author clearfix']/a[2]/h2/text()’).extract_first() print(author)

CrawlSpider類和Spider類的最大不同是CrawlSpider多了一個rules屬性,其作用是定義”提取動作“。在rules中可以包含一個或多個Rule對象,在Rule對象中包含了LinkExtractor對象。 

三、生成的爬蟲文件參數介紹

3.1 LinkExtractor:顧名思義,鏈接提取器。

LinkExtractor(

  allow=r’Items/’,# 滿足括號中“正則表達式”的值會被提取,如果為空,則全部匹配。

deny=xxx, # 滿足正則表達式的則不會被提取。

restrict_xpaths=xxx, # 滿足xpath表達式的值會被提取

restrict_css=xxx, # 滿足css表達式的值會被提取

deny_domains=xxx, # 不會被提取的鏈接的domains。 

)

- 作用:提取response中符合規則的鏈接。 

3.2 Rule : 規則解析器。根據鏈接提取器中提取到的鏈接,根據指定規則提取解析器鏈接網頁中的內容。

Rule(LinkExtractor(allow=r’Items/’), callback=’parse_item’, follow=True)

- 參數介紹:

參數1:指定鏈接提取器

參數2:指定規則解析器解析數據的規則(回調函數)

參數3:是否將鏈接提取器繼續作用到鏈接提取器提取出的鏈接網頁中。當callback為None,參數3的默認值為true。

3.3 rules=( ):指定不同規則解析器。一個Rule對象表示一種提取規則。

3.4 CrawlSpider整體爬取流程:

a)爬蟲文件首先根據起始url,獲取該url的網頁內容

b)鏈接提取器會根據指定提取規則將步驟a中網頁內容中的鏈接進行提取

c)規則解析器會根據指定解析規則將鏈接提取器中提取到的鏈接中的網頁內容根據指定的規則進行解析

d)將解析數據封裝到item中,然后提交給管道進行持久化存儲

四、基于CrawlSpider示例

創建爬蟲項目和啟動爬蟲項目以及settings中配置自行完成,在這里不在追贅述

4.1爬蟲文件

# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom qiubaiBycrawl.items import QiubaibycrawlItemimport reclass QiubaitestSpider(CrawlSpider): name = ’qiubaiTest’ #起始url start_urls = [’http://www.qiushibaike.com/’] #定義鏈接提取器,且指定其提取規則 page_link = LinkExtractor(allow=r’/8hr/page/d+/’) rules = ( #定義規則解析器,且指定解析規則通過callback回調函數 Rule(page_link, callback=’parse_item’, follow=True), ) #自定義規則解析器的解析規則函數 def parse_item(self, response): div_list = response.xpath(’//div[@id='content-left']/div’)for div in div_list: #定義item item = QiubaibycrawlItem() #根據xpath表達式提取糗百中段子的作者 item[’author’] = div.xpath(’./div/a[2]/h2/text()’).extract_first().strip(’n’) #根據xpath表達式提取糗百中段子的內容 item[’content’] = div.xpath(’.//div[@class='content']/span/text()’).extract_first().strip(’n’) yield item #將item提交至管道

4.2items文件

# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass QiubaibycrawlItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() author = scrapy.Field() #作者 content = scrapy.Field() #內容

4.3管道文件

# -*- coding: utf-8 -*-# Define your item pipelines here## Don’t forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlclass QiubaibycrawlPipeline(object): def __init__(self): self.fp = None def open_spider(self,spider): print(’開始爬蟲’) self.fp = open(’./data.txt’,’w’) def process_item(self, item, spider): #將爬蟲文件提交的item寫入文件進行持久化存儲 self.fp.write(item[’author’]+’:’+item[’content’]+’n’) return item def close_spider(self,spider): print(’結束爬蟲’) self.fp.close()

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 冷柜风机-冰柜电机-罩极电机-外转子风机-EC直流电机厂家-杭州金久电器有限公司 | 山东led显示屏,山东led全彩显示屏,山东LED小间距屏,临沂全彩电子屏-山东亚泰视讯传媒有限公司 | 山东氧化铁红,山东铁红-淄博科瑞化工有限公司 | 无水硫酸铝,硫酸铝厂家-淄博双赢新材料科技有限公司 | 圣才学习网-考研考证学习平台,提供万种考研考证电子书、题库、视频课程等考试资料 | 首页|光催化反应器_平行反应仪_光化学反应仪-北京普林塞斯科技有限公司 | 粉末冶金注射成型厂家|MIM厂家|粉末冶金齿轮|MIM零件-深圳市新泰兴精密科技 | 户外环保不锈钢垃圾桶_标识标牌制作_园林公园椅厂家_花箱定制-北京汇众环艺 | 水成膜泡沫灭火剂_氟蛋白泡沫液_河南新乡骏华消防科技厂家 | 蔬菜清洗机_环速洗菜机_异物去除清洗机_蔬菜清洗机_商用洗菜机 - 环速科技有限公司 | 齿轮减速机_齿轮减速电机-VEMT蜗轮蜗杆减速机马达生产厂家瓦玛特传动瑞环机电 | 密度电子天平-内校-外校电子天平-沈阳龙腾电子有限公司 | 阿米巴企业经营-阿米巴咨询管理-阿米巴企业培训-广东键锋企业管理咨询有限公司 | 撕碎机_轮胎破碎机_粉碎机_回收生产线厂家_东莞华达机械有限公司 | 泰国专线_泰国物流专线_广州到泰国物流公司-泰廊曼国际 | 氢氧化钙设备, 氢氧化钙生产线-淄博惠琛工贸有限公司 | 双工位钻铣攻牙机-转换工作台钻攻中心-钻铣攻牙机一体机-浙江利硕自动化设备有限公司 | 丝杆升降机-不锈钢丝杆升降机-非标定制丝杆升降机厂家-山东鑫光减速机有限公司 | 活性炭-果壳木质煤质柱状粉状蜂窝活性炭厂家价格多少钱 | 吸音板,隔音板,吸音材料,吸音板价格,声学材料 - 佛山诺声吸音板厂家 | CTP磁天平|小电容测量仪|阴阳极极化_双液系沸点测定仪|dsj电渗实验装置-南京桑力电子设备厂 | 厂房出租_厂房出售_产业园区招商_工业地产 - 中工招商网 | 物流公司电话|附近物流公司电话上门取货 | 兰州牛肉面加盟,兰州牛肉拉面加盟-京穆兰牛肉面 | 交流伺服电机|直流伺服|伺服驱动器|伺服电机-深圳市华科星电气有限公司 | 石家庄救护车出租_重症转院_跨省跨境医疗转送_活动赛事医疗保障_康复出院_放弃治疗_腾康26年医疗护送转诊团队 | 郑州墨香品牌设计公司|品牌全案VI设计公司 | 防弹玻璃厂家_防爆炸玻璃_电磁屏蔽玻璃-四川大硅特玻科技有限公司 | 优宝-汽车润滑脂-轴承润滑脂-高温齿轮润滑油脂厂家 | 客服外包专业服务商_客服外包中心_网萌科技 | 【德信自动化】点胶机_全自动点胶机_自动点胶机厂家_塑料热压机_自动螺丝机-深圳市德信自动化设备有限公司 | Dataforth隔离信号调理模块-信号放大模块-加速度振动传感器-北京康泰电子有限公司 | 培训一点通 - 合肥驾校 - 合肥新亚驾校 - 合肥八一驾校 | 电动手术床,医用护理床,led手术无影灯-曲阜明辉医疗设备有限公司 | 安徽泰科检测科技有限公司【官方网站】 | 抓斗式清污机|螺杆式|卷扬式启闭机|底轴驱动钢坝|污水处理闸门-方源水利机械 | 减速机电机一体机_带电机减速器一套_德国BOSERL电动机与减速箱生产厂家 | 电机修理_二手电机专家-河北豫通机电设备有限公司(原石家庄冀华高压电机维修中心) | 建筑消防设施检测系统检测箱-电梯**检测仪器箱-北京宇成伟业科技有限责任公司 | 蜗轮丝杆升降机-螺旋升降机-丝杠升降机厂家-润驰传动 | ★济南领跃标识制作公司★济南标识制作,标牌制作,山东标识制作,济南标牌厂 |