电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python Scrapy多頁數據爬取實現過程解析

瀏覽:187日期:2022-07-21 14:49:48

1.先指定通用模板

url = ’https://www.qiushibaike.com/text/page/%d/’#通用的url模板pageNum = 1

2.對parse方法遞歸處理

parse第一次調用表示的是用來解析第一頁對應頁面中的數據

對后面的頁碼的數據要進行手動發送

if self.pageNum <= 5: self.pageNum += 1 new_url = format(self.url%self.pageNum) #手動請求(get)的發送 yield scrapy.Request(new_url,callback=self.parse)

完整示例

class QiubaiSpider(scrapy.Spider): name = ’qiubai’ # allowed_domains = [’www.xxx.com’] start_urls = [’https://www.qiushibaike.com/text/’] url = ’https://www.qiushibaike.com/text/page/%d/’#通用的url模板 pageNum = 1 #parse第一次調用表示的是用來解析第一頁對應頁面中的段子內容和作者 def parse(self, response): div_list = response.xpath(’//*[@id='content-left']/div’) all_data = [] for div in div_list: author = div.xpath(’./div[1]/a[2]/h2/text()’).extract_first() content = div.xpath(’./a[1]/div/span//text()’).extract() content = ’’.join(content) # 將解析的數據存儲到item對象 item = QiubaiproItem() item[’author’] = author item[’content’] = content # 將item提交給管道 yield item # item一定是提交給了優先級最高的管道類 if self.pageNum <= 5: self.pageNum += 1 new_url = format(self.url%self.pageNum) #手動請求(get)的發送 yield scrapy.Request(new_url,callback=self.parse)

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 注塑机-压铸机-塑料注塑机-卧式注塑机-高速注塑机-单缸注塑机厂家-广东联升精密智能装备科技有限公司 | 钛板_钛管_钛棒_钛盘管-无锡市盛钛科技有限公司 | 山东信蓝建设有限公司官网 | vr安全体验馆|交通安全|工地安全|禁毒|消防|安全教育体验馆|安全体验教室-贝森德(深圳)科技 | 网站建设-网站制作-网站设计-网站开发定制公司-网站SEO优化推广-咏熠软件 | 考勤系统_考勤管理系统_网络考勤软件_政企|集团|工厂复杂考勤工时统计排班管理系统_天时考勤 | 北京翻译公司-专业合同翻译-医学标书翻译收费标准-慕迪灵 | uv机-uv灯-uvled光固化机-生产厂家-蓝盾机电 | 新能源汽车电池软连接,铜铝复合膜柔性连接,电力母排-容发智能科技(无锡)有限公司 | 定制异形重型钢格栅板/钢格板_定做踏步板/排水沟盖板_钢格栅板批发厂家-河北圣墨金属制品有限公司 | 硅胶制品-硅橡胶制品-东莞硅胶制品厂家-广东帝博科技有限公司 | 塑木弯曲试验机_铜带拉伸强度试验机_拉压力测试台-倾技百科 | 污水提升器,污水提升泵,污水提升装置-德国泽德(zehnder)水泵系统有限公司 | 太原装修公司_山西整装家装设计_太原室内装潢软装_肖邦家居 | 英超直播_英超免费在线高清直播_英超视频在线观看无插件-24直播网 | 钢托盘,铁托盘,钢制托盘,镀锌托盘,饲料托盘,钢托盘制造商-南京飞天金属13260753852 | 碳化硅,氮化硅,冰晶石,绢云母,氟化铝,白刚玉,棕刚玉,石墨,铝粉,铁粉,金属硅粉,金属铝粉,氧化铝粉,硅微粉,蓝晶石,红柱石,莫来石,粉煤灰,三聚磷酸钠,六偏磷酸钠,硫酸镁-皓泉新材料 | 闸阀_截止阀_止回阀「生产厂家」-上海卡比阀门有限公司 | 防弹玻璃厂家_防爆炸玻璃_电磁屏蔽玻璃-四川大硅特玻科技有限公司 | 专业的压球机生产线及解决方案厂家-河南腾达机械厂 | 成都茶楼装修公司 - 会所设计/KTV装修 - 成都朗煜装饰公司 | 除湿机|工业除湿机|抽湿器|大型地下室车间仓库吊顶防爆除湿机|抽湿烘干房|新风除湿机|调温/降温除湿机|恒温恒湿机|加湿机-杭州川田电器有限公司 | 盐城网络公司_盐城网站优化_盐城网站建设_盐城市启晨网络科技有限公司 | Q361F全焊接球阀,200X减压稳压阀,ZJHP气动单座调节阀-上海戎钛 | 耐高温风管_耐高温软管_食品级软管_吸尘管_钢丝软管_卫生级软管_塑料波纹管-东莞市鑫翔宇软管有限公司 | 定做大型恒温循环水浴槽-工业用不锈钢恒温水箱-大容量低温恒温水槽-常州精达仪器 | 悬浮拼装地板_幼儿园_篮球场_悬浮拼接地板-山东悬浮拼装地板厂家 | 写方案网_方案策划方案模板下载| 海水晶,海水素,海水晶价格-潍坊滨海经济开发区强隆海水晶厂 | 低浓度恒温恒湿称量系统,强光光照培养箱-上海三腾仪器有限公司 | 机械加工_绞车配件_立式离心机_减速机-洛阳三永机械厂 | 成人纸尿裤,成人尿不湿,成人护理垫-山东康舜日用品有限公司 | 西门子伺服控制器维修-伺服驱动放大器-828D数控机床维修-上海涌迪 | 广西资质代办_建筑资质代办_南宁资质代办理_新办、增项、升级-正明集团 | PCB厂|线路板厂|深圳线路板厂|软硬结合板厂|电路板生产厂家|线路板|深圳电路板厂家|铝基板厂家|深联电路-专业生产PCB研发制造 | 连栋温室大棚建造厂家-智能玻璃温室-薄膜温室_青州市亿诚农业科技 | 上海物流公司,上海货运公司,上海物流专线-优骐物流公司 | 篷房[仓储-婚庆-展览-活动]生产厂家-江苏正德装配式帐篷有限公司 | 建大仁科-温湿度变送器|温湿度传感器|温湿度记录仪_厂家_价格-山东仁科 | 浙江自考_浙江自学考试网| 水轮机密封网 | 水轮机密封产品研发生产厂家 |