电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

Python爬蟲實(shí)現(xiàn)模擬點(diǎn)擊動(dòng)態(tài)頁面

瀏覽:11日期:2022-08-03 18:17:33

動(dòng)態(tài)頁面的模擬點(diǎn)擊:

以斗魚直播為例:http://www.douyu.com/directory/all

爬取每頁的房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點(diǎn)擊下一頁,繼續(xù)爬取

代碼如下

#!/usr/bin/python3# -*- coding:utf-8 -*-__author__ = ’mayi’ '''動(dòng)態(tài)頁面的模擬點(diǎn)擊: 模擬點(diǎn)擊斗魚直播:http://www.douyu.com/directory/all 爬取每頁房間名、直播類型、主播名稱、在線人數(shù)等數(shù)據(jù),然后模擬點(diǎn)擊下一頁,繼續(xù)爬取''' from selenium import webdriverimport json # 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對(duì)象,executable_path:指定PhantomJS位置driver = webdriver.PhantomJS(executable_path = r'D:Program Filesphantomjsbinphantomjs')from bs4 import BeautifulSoup class DouyuSpider(object): ''' 爬蟲類 ''' def __init__(self): self.url = 'http://www.douyu.com/directory/all/' self.driver = webdriver.PhantomJS() self.file_name = open('douyu.json', 'w', encoding = 'utf-8') def run(self): ''' 爬蟲開始工作 ''' self.driver.get(self.url) # 循環(huán)處理每一頁,直至最后一頁 page = 1 start_flag = True while True: # 等待3秒,防止訪問過于頻繁 self.driver.implicitly_wait(3) print('正在處理第' + page + '頁......') page += 1 # 解析 soup = BeautifulSoup(self.driver.page_source, 'lxml') # 在線直播部分 online_live = soup.find_all(’ul’, {’id’: ’live-list-contentbox’})[0] # 房間列表 live_list = online_live.find_all(’li’) # 處理每一個(gè)房間 for live in live_list:# 房間名、直播類型、主播名稱、在線人數(shù)# 房間名home_name = live.find_all(’h3’, {’class’: ’ellipsis’})[0].get_text().strip()# 直播類型live_type = live.find_all(’span’, {’class’: ’tag ellipsis’})[0].get_text().strip()# 主播名稱anchor_name = live.find_all(’span’, {’class’: ’dy-name ellipsis fl’})[0].get_text().strip()# 在線人數(shù)online_num = live.find_all(’span’, {’class’ :’dy-num fr’})[0].get_text().strip()# print(home_name, live_type, anchor_name, online_num)item = {}item['房間名'] = home_nameitem['直播類型'] = live_typeitem['主播名稱'] = anchor_nameitem['在線人數(shù)'] = online_numif start_flag: start_flag = False content = '[n' + json.dumps(item)else: content = ',n' + json.dumps(item)self.file_name.write(content) # page_source.find()未找到內(nèi)容則返回-1 if self.driver.page_source.find(’shark-pager-disable-next’) != -1:# 已到最后一頁break # 模擬點(diǎn)擊下一頁 self.driver.find_element_by_class_name(’shark-pager-next’).click() # 爬蟲結(jié)束前關(guān)閉文件 self.file_name.write('n]') self.file_name.close()if __name__ == ’__main__’: douyu = DouyuSpider() douyu.run()

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 酒瓶_酒杯_玻璃瓶生产厂家_徐州明政玻璃制品有限公司 | 东莞市踏板石餐饮管理有限公司_正宗桂林米粉_正宗桂林米粉加盟_桂林米粉加盟费-东莞市棒子桂林米粉 | 青州开防盗门锁-配汽车芯片钥匙-保险箱钥匙-吉祥修锁店 | 石牌坊价格石牌坊雕刻制作_石雕牌坊牌楼石栏杆厂家_山东嘉祥石雕有限公司 | 浙江寺庙设计-杭州寺院设计-宁波寺庙规划_汉匠| 应急灯_消防应急灯_应急照明灯_应急灯厂家-大成智慧官网 | bkzzy在职研究生网 - 在职研究生招生信息咨询平台 | 环氧树脂地坪漆_济宁市新天地漆业有限公司 | 郑州水质检测中心_井水检测_河南废气检测_河南中环嘉创检测 | 精密钢管,冷拔精密无缝钢管,精密钢管厂,精密钢管制造厂家,精密钢管生产厂家,山东精密钢管厂家 | 超声波流量计_流量标准装置生产厂家 _河南盛天精密测控 | 婚博会2024时间表_婚博会门票领取_婚博会地址-婚博会官网 | Magnescale探规,Magnescale磁栅尺,Magnescale传感器,Magnescale测厚仪,Mitutoyo光栅尺,笔式位移传感器-苏州连达精密量仪有限公司 | 潍坊大集网-潍坊信息港-潍坊信息网 | 防勒索软件_数据防泄密_Trellix(原McAfee)核心代理商_Trellix(原Fireeye)售后-广州文智信息科技有限公司 | 都江堰招聘网-都江堰人才网 都江堰人事人才网 都江堰人才招聘网 邢台人才网_邢台招聘网_邢台123招聘【智达人才网】 | 学生作文网_中小学生作文大全与写作指导 | 中式装修设计_全屋定制家具_实木仿古门窗花格厂家-喜迎门 | 闸阀_截止阀_止回阀「生产厂家」-上海卡比阀门有限公司 | 风淋室生产厂家报价_传递窗|送风口|臭氧机|FFU-山东盛之源净化设备 | 大倾角皮带机-皮带输送机-螺旋输送机-矿用皮带输送机价格厂家-河南坤威机械 | 分类168信息网 - 分类信息网 免费发布与查询| 不锈钢轴流风机,不锈钢电机-许昌光维防爆电机有限公司(原许昌光维特种电机技术有限公司) | 济南画室培训-美术高考培训-山东艺霖艺术培训画室 | 塑料熔指仪-塑料熔融指数仪-熔体流动速率试验机-广东宏拓仪器科技有限公司 | 电动高压冲洗车_价格-江苏速利达机车有限公司 | 冷藏车-东风吸污车-纯电动环卫车-污水净化车-应急特勤保障车-程力专汽厂家-程力专用汽车股份有限公司销售二十一分公司 | 动物解剖台-成蚊接触筒-标本工具箱-负压实验台-北京哲成科技有限公司 | 宁夏活性炭_防护活性炭_催化剂载体炭-宁夏恒辉活性炭有限公司 | 制氮设备_PSA制氮机_激光切割制氮机_氮气机生产厂家-苏州西斯气体设备有限公司 | 上海办公室装修,办公楼装修设计,办公空间设计,企业展厅设计_写艺装饰公司 | CE认证_FCC认证_CCC认证_MFI认证_UN38.3认证-微测检测 CNAS实验室 | 大立教育官网-一级建造师培训-二级建造师培训-造价工程师-安全工程师-监理工程师考试培训 | 机械加工_绞车配件_立式离心机_减速机-洛阳三永机械厂 | 破碎机锤头_耐磨锤头_合金锤头-鼎成机械一站式耐磨铸件定制服务 微型驱动系统解决方案-深圳市兆威机电股份有限公司 | 洁净化验室净化工程_成都实验室装修设计施工_四川华锐净化公司 | 书法培训-高考书法艺考培训班-山东艺霖书法培训凭实力挺进央美 | 无硅导热垫片-碳纤维导热垫片-导热相变材料厂家-东莞市盛元新材料科技有限公司 | 全国国际学校排名_国际学校招生入学及学费-学校大全网 | 螺杆真空泵_耐腐蚀螺杆真空泵_水环真空泵_真空机组_烟台真空泵-烟台斯凯威真空 | 砖机托板价格|免烧砖托板|空心砖托板厂家_山东宏升砖机托板厂 |