电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python中Selenium庫使用教程詳解

瀏覽:14日期:2022-07-16 14:54:56

selenium介紹

selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執(zhí)行JavaScript代碼的問題 selenium本質是通過驅動瀏覽器,完全模擬瀏覽器的操作,比如跳轉、輸入、點擊、下拉等,來拿到網頁渲染之后的結果,可支持多種瀏覽器

中文參考文檔

官網

環(huán)境安裝

下載安裝selenium

pip install selenium -i https://mirrors.aliyun.com/pypi/simple/

谷歌瀏覽器驅動程序下載地址:

http://chromedriver.storage.googleapis.com/index.html

使用示例

from selenium import webdriverfrom time import sleep# 實例化一款瀏覽器bor = webdriver.Chrome(executable_path=’chromedriver.exe’)# 對指定的url發(fā)起請求bor.get(’https://www.jd.com/’)sleep(1)# 進行標簽定位search_input = bor.find_element_by_id(’key’)# 向搜索框中錄入關鍵詞search_input.send_keys('mac pro')# 點擊搜索按鈕btn = bor.find_element_by_xpath(’//*[@id='search']/div/div[2]/button’)btn.click()sleep(2)# 執(zhí)行js,讓滾輪向下滾動bor.execute_script(’window.scrollTo(0, document.body.scrollHeight)’)sleep(2)page_text = bor.page_sourceprint(page_text)bor.quit()

瀏覽器創(chuàng)建

Selenium支持非常多的瀏覽器,如Chrome、Firefox、Edge等,還有Android、BlackBerry等手機端的瀏覽器。另外,也支持無界面瀏覽器PhantomJS。

from selenium import webdriver browser = webdriver.Chrome()browser = webdriver.Firefox()browser = webdriver.Edge()browser = webdriver.PhantomJS()browser = webdriver.Safari()

元素定位

webdriver 提供了一系列的元素定位方法,常用的有以下幾種:

定位一個元素 定位多個元素 含義 find_element_by_id find_elements_by_id 通過元素id定位 find_element_by_name find_elements_by_name 通過元素name定位 find_element_by_xpath find_elements_by_xpath 通過xpath表達式定位 find_element_by_link_text find_elements_by_link_tex 通過完整超鏈接定位 find_element_by_partial_link_text find_elements_by_partial_link_text 通過部分鏈接定位 find_element_by_tag_name find_elements_by_tag_name 通過標簽定位 find_element_by_class_name find_elements_by_class_name 通過類名進行定位 find_elements_by_css_selector find_elements_by_css_selector 通過css選擇器進行定位

注意:

1、find_element_by_xxx找的是第一個符合條件的標簽,find_elements_by_xxx找的是所有符合條件的標簽。

2、根據ID、CSS選擇器和XPath獲取,它們返回的結果完全一致。

3、另外,Selenium還提供了通用方法find_element(),它需要傳入兩個參數:查找方式By和值。實際上,它就是find_element_by_id()這種方法的通用函數版本,比如find_element_by_id(id)就等價于find_element(By.ID, id),二者得到的結果完全一致。

實例演示

假如有一個web頁面,通過前端工具查看到一個元素的屬性是這樣的。

<html> <head> <body link='#0000cc'> <a href='http://www.hdgsjgj.cn/' rel='external nofollow' onmousedown='return c({’fm’:’tab’,’tab’:’logo’})'> <form name='f' action='/s'> <span ></span> <input name='wd' value='' maxlength='255' autocomplete='off'>

通過id定位:

dr.find_element_by_id('kw')

通過name定位:

dr.find_element_by_name('wd')

通過class name定位:

dr.find_element_by_class_name('s_ipt')

通過tag name定位:

dr.find_element_by_tag_name('input')

通過xpath定位,xpath定位有N種寫法,這里列幾個常用寫法:

dr.find_element_by_xpath('//*[@]')dr.find_element_by_xpath('//*[@name=’wd’]')dr.find_element_by_xpath('//input[@]')dr.find_element_by_xpath('/html/body/form/span/input')dr.find_element_by_xpath('//span[@]/input')dr.find_element_by_xpath('//form[@]/span/input')dr.find_element_by_xpath('//input[@ and @name=’wd’]')

通過css定位,css定位有N種寫法,這里列幾個常用寫法:

dr.find_element_by_css_selector('#kw')dr.find_element_by_css_selector('[name=wd]')dr.find_element_by_css_selector('.s_ipt')dr.find_element_by_css_selector('html > body > form > span > input')dr.find_element_by_css_selector('span.soutu-btn> input#kw')dr.find_element_by_css_selector('form#form > span > input')

假如頁面上有如下一組文本鏈接

<a rel='external nofollow' name='tj_trnews'>新聞</a><a rel='external nofollow' name='tj_trhao123'>hao123</a>

通過link text定位:

dr.find_element_by_link_text('新聞')dr.find_element_by_link_text('hao123')

通過partial link text定位:

dr.find_element_by_partial_link_text('新')dr.find_element_by_partial_link_text('hao')dr.find_element_by_partial_link_text('123')

控制瀏覽器

常用的控制瀏覽器操作的一些方法

方法 說明 set_window_size() 設置瀏覽器的大小 back() 控制瀏覽器后退 forward() 控制瀏覽器前進 refresh() 刷新當前頁面 clear() 清除文本 send_keys (value) 模擬按鍵輸入 click() 單擊元素 submit() 用于提交表單 get_attribute(name) 獲取元素屬性值 is_displayed() 設置該元素是否用戶可見 size 返回元素的尺寸 text 獲取元素的文本

📝 示例

from selenium import webdriverfrom time import sleep#1.創(chuàng)建Chrome瀏覽器對象,這會在電腦上在打開一個瀏覽器窗口browser = webdriver.Chrome(executable_path= 'chromedriver.exe')#2.通過瀏覽器向服務器發(fā)送URL請求browser.get('https://www.baidu.com/')sleep(3)#3.刷新瀏覽器browser.refresh()#4.設置瀏覽器的大小browser.set_window_size(1400,800)#5.設置鏈接內容element=browser.find_element_by_link_text('新聞')element.click()

調用JavaScript代碼

雖然WebDriver提供了操作瀏覽器的前進和后退方法,但對于瀏覽器滾動條并沒有提供相應的操作方法。在這種情況下,就可以借助JavaScript來控制瀏覽器的滾動條。WebDriver提供了execute_script()方法來執(zhí)行JavaScript代碼。

用于調整瀏覽器滾動條位置的JavaScript代碼如下:

<!-- window.scrollTo(左邊距,上邊距); -->window.scrollTo(0,450);

from selenium import webdriverfrom time import sleep# 1.訪問百度drive = webdriver.Chrome(executable_path=’chromedriver.exe’)drive.get(’https://www.baidu.com’)# 2.搜索drive.find_element_by_id(’kw’).send_keys(’python’)drive.find_element_by_id(’su’).click()# 3.休眠2s,獲取服務器的響應內容sleep(2)# 4.通過javascript設置瀏覽器窗口的滾動條位置drive.execute_script(’window.scrollTo(0, 500)’)# drive.execute_script(’window.scrollTo(0, document.body.scrollHeight)’) #滑到最底部sleep(2)drive.close()

獲取頁面源碼數據

通過page_source屬性可以獲取網頁的源代碼,接著就可以使用解析庫(如正則表達式、Beautiful Soup、pyquery等)來提取信息了。

📝 示例

from selenium import webdriverfrom time import sleep# 1.訪問百度drive = webdriver.Chrome(executable_path=’chromedriver.exe’)drive.get(’https://www.baidu.com’)# 2.搜索drive.find_element_by_id(’kw’).send_keys(’python’)drive.find_element_by_id(’su’).click()# 3.休眠2s,獲取服務器的響應內容sleep(2)# 4.獲取頁面源碼數據text = drive.page_sourceprint(text)drive.close()

cookie操作

有時候我們需要驗證瀏覽器中cookie是否正確,因為基于真實cookie的測試是無法通過白盒和集成測試進行的。WebDriver提供了操作Cookie的相關方法,可以讀取、添加和刪除cookie信息。

WebDriver操作cookie的方法:

方法 說明 get_cookies() 獲得所有cookie信息 get_cookie(name) 返回字典的key為“name”的cookie信息 add_cookie(cookie_dict) 添加cookie。“cookie_dict”指字典對象,必須有name 和value 值 delete_cookie(name,optionsString) 刪除cookie信息。“name”是要刪除的cookie的名稱,“optionsString”是該cookie的選項,目前支持的選項包括“路徑”,“域” delete_all_cookies() 刪除所有cookie信息

📝 示例

from selenium import webdriverdrive = webdriver.Chrome(executable_path=’chromedriver.exe’)drive.get(’https://www.cnblogs.com/’)# 1.打印cookie信息print(drive.get_cookies())# 2.添加cookie信息dic = {’name’:’name’, ’value’:’python’}drive.add_cookie(dic)print(drive.get_cookies())# 3.遍歷打印cookie信息for cookie in drive.get_cookies(): print(f'{cookie[’name’]}---f{cookie[’value’]}n')drive.close()

谷歌無頭瀏覽器

PhantomJs已停止維護更新,這里使用谷歌的無頭瀏覽器,是一款無界面的谷歌瀏覽器。很多時候我們爬取數據,并不想打開一個瀏覽器窗口進行操作,我們只需要獲取數據或者拿到cookie然后進行操作。

📝 示例

from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# 1.創(chuàng)建一個參數對象,用來控制chrome以無界面模式打開chrome_options = Options()chrome_options.add_argument(’--headless’)chrome_options.add_argument(’--disable-gpu’)# 2.創(chuàng)建瀏覽器對象drive = webdriver.Chrome(executable_path=’chromedriver.exe’, chrome_options=chrome_options)# 3.發(fā)起請求獲取數據drive.get(’https://www.cnblogs.com/’)page_text = drive.page_sourceprint(page_text)drive.close()

selenium規(guī)避被檢測識別

現在不少大網站有對selenium采取了監(jiān)測機制。比如正常情況下我們用瀏覽器訪問淘寶等網站的 window.navigator.webdriver的值為 undefined。而使用selenium訪問則該值為true。那么如何解決這個問題呢?

只需要設置Chromedriver的啟動參數即可解決問題。在啟動Chromedriver之前,為Chrome開啟實驗性功能參數excludeSwitches,它的值為[’enable-automation’],完整代碼如下:

📝 示例

from selenium import webdriverfrom selenium.webdriver import ChromeOptions# 1.實例化一個ChromeOptions對象option = ChromeOptions()option.add_experimental_option(’excludeSwitches’, [’enable-automation’])# 2.將ChromeOptions實例化的對象option作為參數傳給Crhome對象driver = webdriver.Chrome(executable_path=’chromedriver.exe’, options=option)# 3.發(fā)起請求driver.get(’https://www.taobao.com/’)

到此這篇關于Python中Selenium庫使用教程詳解的文章就介紹到這了,更多相關Python Selenium庫使用內容請搜索好吧啦網以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 斗式提升机_链式斗提机_带式斗提机厂家无锡市鸿诚输送机械有限公司 | 聚合氯化铝价格_聚合氯化铝厂家_pac絮凝剂-唐达净水官网 | 电加热导热油炉-空气加热器-导热油加热器-翅片电加热管-科安达机械 | 点胶机_点胶阀_自动点胶机_智能点胶机_喷胶机_点胶机厂家【欧力克斯】 | 滁州高低温冲击试验箱厂家_安徽高低温试验箱价格|安徽希尔伯特 | 石家庄律师_石家庄刑事辩护律师_石家庄取保候审-河北万垚律师事务所 | 五轴加工中心_数控加工中心_铝型材加工中心-罗威斯 | 博医通医疗器械互联网供应链服务平台_博医通 | 安徽合肥格力空调专卖店_格力中央空调_格力空调总经销公司代理-皖格制冷设备 | 高楼航空障碍灯厂家哪家好_航空障碍灯厂家_广州北斗星障碍灯有限公司 | 沈阳庭院景观设计_私家花园_别墅庭院设计_阳台楼顶花园设计施工公司-【沈阳现代时园艺景观工程有限公司】 | 旋振筛|圆形摇摆筛|直线振动筛|滚筒筛|压榨机|河南天众机械设备有限公司 | 青岛代理记账_青岛李沧代理记账公司_青岛崂山代理记账一个月多少钱_青岛德辉财税事务所官网 | 工业铝型材生产厂家_铝合金型材配件批发精加工定制厂商 - 上海岐易铝业 | 北京包装设计_标志设计公司_包装设计公司-北京思逸品牌设计 | 注塑_注塑加工_注塑模具_塑胶模具_注塑加工厂家_深圳环科 | 3d打印服务,3d打印汽车,三维扫描,硅胶复模,手板,快速模具,深圳市精速三维打印科技有限公司 | SRRC认证_电磁兼容_EMC测试整改_FCC认证_SDOC认证-深圳市环测威检测技术有限公司 | 深圳快餐店设计-餐饮设计公司-餐饮空间品牌全案设计-深圳市勤蜂装饰工程 | 沥青灌缝机_路面灌缝机_道路灌缝机_沥青灌缝机厂家_济宁萨奥机械有限公司 | 液氮罐_液氮容器_自增压液氮罐_杜瓦瓶_班德液氮罐厂家 | 乳化沥青设备_改性沥青设备_沥青加温罐_德州市昊通路桥工程有限公司 | 爆破器材运输车|烟花爆竹运输车|1-9类危险品厢式运输车|湖北江南专用特种汽车有限公司 | 高光谱相机-近红外高光谱相机厂家-高光谱成像仪-SINESPEC 赛斯拜克 | 合肥仿石砖_合肥pc砖厂家_合肥PC仿石砖_安徽旭坤建材有限公司 | 定制液氮罐_小型气相液氮罐_自增压液氮罐_班德液氮罐厂家 | 西门子伺服电机维修,西门子电源模块维修,西门子驱动模块维修-上海渠利 | 山东石英砂过滤器,除氟过滤器「价格低」-淄博胜达水处理 | 大功率金属激光焊接机价格_不锈钢汽车配件|光纤自动激光焊接机设备-东莞市正信激光科技有限公司 定制奶茶纸杯_定制豆浆杯_广东纸杯厂_[绿保佳]一家专业生产纸杯碗的厂家 | 万烁建筑设计院-建筑设计公司加盟,设计院加盟分公司,市政设计加盟 | 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库 | 减速机电机一体机_带电机减速器一套_德国BOSERL电动机与减速箱生产厂家 | 皮带式输送机械|链板式输送机|不锈钢输送机|网带输送机械设备——青岛鸿儒机械有限公司 | 广州监控安装公司_远程监控_安防弱电工程_无线wifi覆盖_泉威安防科技 | 油罐车_加油机_加油卷盘_加油机卷盘_罐车人孔盖_各类球阀_海底阀等车用配件厂家-湖北华特专用设备有限公司 | 带压开孔_带压堵漏_带压封堵-菏泽金升管道工程有限公司 | 阴离子_阳离子聚丙烯酰胺厂家_聚合氯化铝价格_水处理絮凝剂_巩义市江源净水材料有限公司 | 罐体电伴热工程-消防管道电伴热带厂家-山东沃安电气 | 联系我们老街华纳娱乐公司官网19989979996(客服) | 无轨电动平车_轨道平车_蓄电池电动平车★尽在新乡百特智能转运设备有限公司 | 定坤静电科技静电消除器厂家-除静电设备|