Python爬蟲基礎(chǔ)之selenium庫(kù)的用法總結(jié)
官網(wǎng)
總的來(lái)說(shuō)： selenium庫(kù)主要用來(lái)做瀏覽器的自動(dòng)化腳本庫(kù)。
二、selenium基本用法from selenium import webdriverurl = ’http://www.baidu.com’# 將webdriver實(shí)例化path = ’C:Program Files (x86)Python38-32chromedriver.exe’browser = webdriver.Chrome(executable_path = path)# 用谷歌瀏覽器訪問(wèn)百度 r = browser.get(url)with open (’test.txt’,’wb+’) as f: f.write(r.content)三、常用用法
’’’代碼功能：selenium是的常用用法時(shí)間：@Date: 2021-05-22 21:37:05’’’from selenium import webdriver# 導(dǎo)入Options類from selenium.webdriver.chrome.options import Optionsurl = 'https://movie.douban.com/'# Options的實(shí)例化chrome_options = Options()# 設(shè)置瀏覽器參數(shù)# --headless 是不顯示瀏覽器啟動(dòng)以及執(zhí)行過(guò)程chrome_options.add_argument(’--headless’)# 設(shè)置lang和User-Agent信息，防止反爬檢測(cè)chrome_options.add_argument(’lang=zh_CN.utf-8’)UserAgent = ’Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36’chrome_options.add_argument(’User-Agent=’+UserAgent)# 啟動(dòng)瀏覽器并設(shè)置chrome_options參數(shù)driver = webdriver.Chrome(chrome_options=chrome_options)# 設(shè)置瀏覽器窗口最大化# driver.maximize_window()# # 設(shè)置瀏覽器窗口最小化# driver.minimize_window()driver.get(url)# 獲取網(wǎng)頁(yè)的標(biāo)題print(driver.title)# page_source是獲取網(wǎng)頁(yè)的HTML代碼print(driver.page_source)四、cookie的設(shè)置、獲取與刪除
from selenium import webdriverimport time# 啟動(dòng)瀏覽器driver = webdriver.Chrome()driver.get(’https://www.youdao.com’)time.sleep(5)# 添加cookiedriver.add_cookie({’name’:’login’,’value’:’登錄’})# 獲取全部cookieallCookies = driver.get_cookies()print(’全部cookies’,allCookies)# 獲取name為login的cookiecookie = driver.get_cookie(’login’)print(’name為login的cookie’,cookie)# 刪除單個(gè)cookiedriver.delete_cookie(’login’)print('n--------------剩余的cookiesn',driver.get_cookies())# 刪除全部cookiesdriver.delete_all_cookies()print('-------------剩余的cookies------------n',driver.get_cookies())time.sleep(60)五、文件的上傳與下載 文件上傳upload
<!DOCTYPE html><html lang='en'><head> <meta charset='UTF-8'> <meta http-equiv='X-UA-Compatible' content='IE=edge'> <meta name='viewport' content='width=device-width, initial-scale=1.0'> <title>Document</title></head><body> <h1>配合selenium模擬上傳文件</h1> <input type=’file’ name=’file’ /></body></html>
’’’代碼功能：selenium上傳文件 --配合upload.html使用時(shí)間：@Date: 2021-05-23 09:56:53’’’from selenium import webdriverimport timedriver = webdriver.Chrome()url = ’http://localhost:52330/selenium/upload.html’driver.get(url)ele = driver.find_element_by_name(’file’)print('獲取到的元素',ele)# 注意路徑不能有中文字符ele.send_keys(’D:dcsdk_eventv3.db’)time.sleep(10)
下載文件
’’’代碼功能：模擬文件下載時(shí)間：@Date: 2021-05-23 10:21:28’’’from selenium import webdriverimport time# 設(shè)置文件保存路徑，如果不設(shè)置，會(huì)默認(rèn)保存到Downloads文件夾options = webdriver.ChromeOptions()prefs = {’download.default_directory’:’D:’}options.add_experimental_option(’prefs’,prefs)# 啟動(dòng)瀏覽器driver = webdriver.Chrome()# 下載PC版微信driver.get(’https://pc.weixin.qq.com’)# 瀏覽器窗口最大化driver.maximize_window()time.sleep(5)# 點(diǎn)擊下載按鈕driver.find_element_by_class_name(’download-button’).click()time.sleep(30)六、窗口的切換
from selenium import webdriverimport timeurl = ’https://www.baidu.com/’driver = webdriver.Chrome()# 隱式等待，一次設(shè)置對(duì)整個(gè)driver的周期都起作用driver.implicitly_wait(30)driver.get(url)# 使用js開(kāi)啟新的窗口js = ’window.open('https://www.sogou.com/')’driver.execute_script(js)# 獲取當(dāng)前顯示的窗口信息current_window = driver.current_window_handleprint(driver)# 獲取瀏覽器的全部窗口信息handles = driver.window_handlesprint(’獲取到的窗口全部信息n------------------n’,handles)’’’獲取到的窗口全部信息------------------ [’CDwindow-7FB808B4F24EF5385A9AFBDC21FA13B9’, ’CDwindow-E879C0A64E734C3F88468A4388F48E3B’]’’’# 設(shè)置延時(shí)看切換的效果time.sleep(3)# 根據(jù)窗口信息進(jìn)行窗口切換# 切換到百度搜索的窗口driver.switch_to_window(handles[0])time.sleep(3)# 切換到搜狗窗口driver.switch_to_window(handles[1])七、項(xiàng)目實(shí)戰(zhàn)
’’’代碼功能：熟悉selenium的自動(dòng)化操作時(shí)間：2020/5/22’’’from selenium import webdriverfrom selenium.webdriver.common.keys import Keysimport time# Keys 類中定義了很多快捷鍵url = ’https://wwww.baidu.com’path = ’C:Program Files (x86)Python38-32chromedriver.exe’driver = webdriver.Chrome(executable_path=path)driver.get(url)# 獲取輸入框標(biāo)簽對(duì)象element = driver.find_element_by_id(’kw’)# 輸入框輸入內(nèi)容element.send_keys(’python你’)time.sleep(2)# 刪除最后一個(gè)文字element.send_keys(Keys.BACK_SPACE)time.sleep(2)# 添加空格加教程element.send_keys(Keys.SPACE)element.send_keys('教程')time.sleep(2)# ctrl+a 全選輸入框內(nèi)容element.send_keys(Keys.CONTROL, ’a’)time.sleep(2)# ctrl+x 剪切輸入框內(nèi)容element.send_keys(Keys.CONTROL, ’x’)time.sleep(2)# ctrl+v 復(fù)制element.send_keys(Keys.CONTROL, ’v’)time.sleep(2)# 回車鍵driver.find_element_by_id(’su’).send_keys(Keys.ENTER)time.sleep(10)
到此這篇關(guān)于Python爬蟲基礎(chǔ)之selenium庫(kù)的用法總結(jié)的文章就介紹到這了,更多相關(guān)Python selenium庫(kù)內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！
相關(guān)文章：
1. el-input無(wú)法輸入的問(wèn)題和表單驗(yàn)證失敗問(wèn)題解決2. Vue中原生template標(biāo)簽失效如何解決3. CSS3實(shí)例分享之多重背景的實(shí)現(xiàn)(Multiple backgrounds)4. js開(kāi)發(fā)中的頁(yè)面、屏幕、瀏覽器的位置原理（高度寬度）說(shuō)明講解（附圖）5. XML 非法字符（轉(zhuǎn)義字符）6. 父div高度不能自適應(yīng)子div高度的解決方案7. XML入門的常見(jiàn)問(wèn)題(三)8. vue跳轉(zhuǎn)頁(yè)面常用的幾種方法匯總9. Jquery使用原生AJAX方法請(qǐng)求數(shù)據(jù)10. 不要在HTML中濫用div
網(wǎng)公網(wǎng)安備