电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

Python爬蟲實(shí)現(xiàn)模擬點(diǎn)擊動(dòng)態(tài)頁(yè)面

瀏覽:10日期:2022-08-03 18:17:33

動(dòng)態(tài)頁(yè)面的模擬點(diǎn)擊:

以斗魚直播為例:http://www.douyu.com/directory/all

爬取每頁(yè)的房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點(diǎn)擊下一頁(yè),繼續(xù)爬取

代碼如下

#!/usr/bin/python3# -*- coding:utf-8 -*-__author__ = ’mayi’ '''動(dòng)態(tài)頁(yè)面的模擬點(diǎn)擊: 模擬點(diǎn)擊斗魚直播:http://www.douyu.com/directory/all 爬取每頁(yè)房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點(diǎn)擊下一頁(yè),繼續(xù)爬取''' from selenium import webdriverimport json # 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對(duì)象,executable_path:指定PhantomJS位置driver = webdriver.PhantomJS(executable_path = r'D:Program Filesphantomjsbinphantomjs')from bs4 import BeautifulSoup class DouyuSpider(object): ''' 爬蟲類 ''' def __init__(self): self.url = 'http://www.douyu.com/directory/all/' self.driver = webdriver.PhantomJS() self.file_name = open('douyu.json', 'w', encoding = 'utf-8') def run(self): ''' 爬蟲開(kāi)始工作 ''' self.driver.get(self.url) # 循環(huán)處理每一頁(yè),直至最后一頁(yè) page = 1 start_flag = True while True: # 等待3秒,防止訪問(wèn)過(guò)于頻繁 self.driver.implicitly_wait(3) print('正在處理第' + page + '頁(yè)......') page += 1 # 解析 soup = BeautifulSoup(self.driver.page_source, 'lxml') # 在線直播部分 online_live = soup.find_all(’ul’, {’id’: ’live-list-contentbox’})[0] # 房間列表 live_list = online_live.find_all(’li’) # 處理每一個(gè)房間 for live in live_list:# 房間名、直播類型、主播名稱、在線人數(shù)# 房間名home_name = live.find_all(’h3’, {’class’: ’ellipsis’})[0].get_text().strip()# 直播類型live_type = live.find_all(’span’, {’class’: ’tag ellipsis’})[0].get_text().strip()# 主播名稱anchor_name = live.find_all(’span’, {’class’: ’dy-name ellipsis fl’})[0].get_text().strip()# 在線人數(shù)online_num = live.find_all(’span’, {’class’ :’dy-num fr’})[0].get_text().strip()# print(home_name, live_type, anchor_name, online_num)item = {}item['房間名'] = home_nameitem['直播類型'] = live_typeitem['主播名稱'] = anchor_nameitem['在線人數(shù)'] = online_numif start_flag: start_flag = False content = '[n' + json.dumps(item)else: content = ',n' + json.dumps(item)self.file_name.write(content) # page_source.find()未找到內(nèi)容則返回-1 if self.driver.page_source.find(’shark-pager-disable-next’) != -1:# 已到最后一頁(yè)break # 模擬點(diǎn)擊下一頁(yè) self.driver.find_element_by_class_name(’shark-pager-next’).click() # 爬蟲結(jié)束前關(guān)閉文件 self.file_name.write('n]') self.file_name.close()if __name__ == ’__main__’: douyu = DouyuSpider() douyu.run()

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 无负压供水设备,消防稳压供水设备-淄博创辉供水设备有限公司 | 伺服电机维修、驱动器维修「安川|三菱|松下」伺服维修公司-深圳华创益 | BHK汞灯-百科|上海熙浩实业有限公司| 挤出熔体泵_高温熔体泵_熔体出料泵_郑州海科熔体泵有限公司 | 雾度仪_雾度计_透光率雾度仪价格-三恩时(3nh)光电雾度仪厂家 | 合同书格式和范文_合同书样本模板_电子版合同,找范文吧 | 范秘书_懂你的范文小秘书| 深圳高新投三江工业消防解决方案提供厂家_服务商_园区智慧消防_储能消防解决方案服务商_高新投三江 | 伶俐嫂培训学校_月嫂培训班在哪里报名学费是多少_月嫂免费政府培训中心推荐 | 玻纤土工格栅_钢塑格栅_PP焊接_单双向塑料土工格栅_复合防裂布厂家_山东大庚工程材料科技有限公司 | 闭端端子|弹簧螺式接线头|防水接线头|插线式接线头|端子台|电源线扣+护线套|印刷电路板型端子台|金笔电子代理商-上海拓胜电气有限公司 | 网站建设-临朐爱采购-抖音运营-山东兆通网络科技 | 超声波焊接机_超音波熔接机_超声波塑焊机十大品牌_塑料超声波焊接设备厂家 | 原色会计-合肥注册公司_合肥代理记账公司_营业执照代办 | 耐高温电缆厂家-远洋高温电缆 | 海水晶,海水素,海水晶价格-潍坊滨海经济开发区强隆海水晶厂 | 书法培训-高考书法艺考培训班-山东艺霖书法培训凭实力挺进央美 | 微动开关厂家-东莞市德沃电子科技有限公司 | 深圳激光打标机_激光打标机_激光焊接机_激光切割机_同体激光打标机-深圳市创想激光科技有限公司 深圳快餐店设计-餐饮设计公司-餐饮空间品牌全案设计-深圳市勤蜂装饰工程 | 圆窗水平仪|伊莉莎冈特elesa+ganter | 螺杆式冷水机-低温冷水机厂家-冷冻机-风冷式-水冷式冷水机-上海祝松机械有限公司 | 医养体检包_公卫随访箱_慢病随访包_家签随访包_随访一体机-济南易享医疗科技有限公司 | 沧州友城管业有限公司-内外涂塑钢管-大口径螺旋钢管-涂塑螺旋管-保温钢管生产厂家 | 浙江美尔凯特智能厨卫股份有限公司 | 潜水搅拌机-双曲面搅拌机-潜水推进器|奥伯尔环保 | 油冷式_微型_TDY电动滚筒_外装_外置式电动滚筒厂家-淄博秉泓机械有限公司 | 三氯异氰尿酸-二氯-三氯-二氯异氰尿酸钠-优氯净-强氯精-消毒片-济南中北_优氯净厂家 | 东莞动力锂电池保护板_BMS智能软件保护板_锂电池主动均衡保护板-东莞市倡芯电子科技有限公司 | 幂简集成 - 品种超全的API接口平台, 一站搜索、试用、集成国内外API接口 | hdpe土工膜-防渗膜-复合土工膜-长丝土工布价格-厂家直销「恒阳新材料」-山东恒阳新材料有限公司 ETFE膜结构_PTFE膜结构_空间钢结构_膜结构_张拉膜_浙江萬豪空间结构集团有限公司 | app开发|app开发公司|小程序开发|物联网开发||北京网站制作|--前潮网络 | 中天寰创-内蒙古钢结构厂家|门式刚架|钢结构桁架|钢结构框架|包头钢结构煤棚 | 立式_复合式_壁挂式智能化电伴热洗眼器-上海达傲洗眼器生产厂家 理化生实验室设备,吊装实验室设备,顶装实验室设备,实验室成套设备厂家,校园功能室设备,智慧书法教室方案 - 东莞市惠森教学设备有限公司 | 乐之康护 - 专业护工服务平台,提供医院陪护-居家照护-居家康复 | PVC地板|PVC塑胶地板|PVC地板厂家|地板胶|防静电地板-无锡腾方装饰材料有限公司-咨询热线:4008-798-128 | 环讯传媒,永康网络公司,永康网站建设,永康小程序开发制作,永康网站制作,武义网页设计,金华地区网站SEO优化推广 - 永康市环讯电子商务有限公司 | 全球化工设备网—化工设备,化工机械,制药设备,环保设备的专业网络市场。 | 手持式3d激光扫描仪-便携式三维立体扫描仪-北京福禄克斯 | 卫生型双针压力表-高温防腐差压表-安徽康泰电气有限公司 | 广州网站建设_小程序开发_番禺网站建设_佛山网站建设_粤联网络 | 冷却塔风机厂家_静音冷却塔风机_冷却塔电机维修更换维修-广东特菱节能空调设备有限公司 |