目錄最終版本過(guò)程借鑒代碼思考urllib.request和requestsBeautifulSoup優(yōu)化處理總結(jié)

代碼復(fù)制可直接使用，記得pip install下載requests和bs4

最終版本

# 引入系統(tǒng)類(lèi)庫(kù)用于打開(kāi)關(guān)閉文件import sys# 使用文檔解析類(lèi)庫(kù)from bs4 import BeautifulSoup# 使用網(wǎng)絡(luò)請(qǐng)求類(lèi)庫(kù)import requests#圖片保存目錄path = ’D:/陰陽(yáng)師’ #陰陽(yáng)師壁紙網(wǎng)站html_doc = 'https://yys.163.com/media/picture.html' # 請(qǐng)求requests_html_doc = requests.get(html_doc).text# 正則匹配所有href地址regex = re.compile(’.*?href='http://www.hdgsjgj.cn/bcjs/(.*?)2732x2048.jpg' rel='external nofollow' ’)urls = regex.findall(requests_html_doc)# set集合可以防止下載的圖片重復(fù)result = set()for i in urls: result.add(i)# 計(jì)數(shù)器用于圖片命名num = 0# 文件路徑、操作模式、編碼 # r’’# 打開(kāi)文件錄入圖片f = open(r’result.txt’, ’w’, encoding=’utf-8’)for a in urls: try:image_data = requests.get(a).contentimage_name = ’{}.jpg’.format(num) # 給每張圖片命名save_path = path + ’/’ + image_name # 圖片的保存地址with open(save_path, ’wb’) as f: f.write(image_data) print(image_name, ’=======================>下載成功！！！’) num = num+1 # 下一張圖片名字序號(hào)加一 except:pass# 關(guān)閉文件錄入f.close()print('rn掃描結(jié)果已寫(xiě)入到result.txt文件中rn')過(guò)程借鑒代碼

自己從0開(kāi)始，沒(méi)有頭緒，而且對(duì)python掌握度不高，那先借鑒別人的代碼開(kāi)始，第一篇借鑒的代碼如下

# 引入系統(tǒng)類(lèi)庫(kù)import sys# 使用文檔解析類(lèi)庫(kù)from bs4 import BeautifulSoup# 使用網(wǎng)絡(luò)請(qǐng)求類(lèi)庫(kù)import urllib.requestpath = ’D:/陰陽(yáng)師’html_doc = 'https://yys.163.com/media/picture.html'# 獲取請(qǐng)求req = urllib.request.Request(html_doc)# 打開(kāi)頁(yè)面webpage = urllib.request.urlopen(req)# 讀取頁(yè)面內(nèi)容html = webpage.read()# 解析成文檔對(duì)象soup = BeautifulSoup(html, ’html.parser’) # 文檔對(duì)象# 非法URL 1invalidLink1 = ’#’# 非法URL 2invalidLink2 = ’javascript:void(0)’# set集合可以防止下載的圖片連接重復(fù)result = set()# 計(jì)數(shù)器用于圖片命名num = 0# 查找文檔中所有a標(biāo)簽for k in soup.find_all(’a’): # print(k) # 查找href標(biāo)簽 link = k.get(’href’) # 過(guò)濾沒(méi)找到的 if(link is not None):# 過(guò)濾非法鏈接if link == invalidLink1: passelif link == invalidLink2: passelif link.find('javascript:') != -1: passelse: result.add(link)for a in result: # 文件路徑、操作模式、編碼 # r’’ f = open(r’result.txt’, ’w’, encoding=’utf-8’) # image_data = urllib.request.get(url=a).content image_data = requests.get(url=a).content image_name = ’{}.jpg’.format(num) # 給每張圖片命名 save_path = path + ’/’ + image_name # 圖片的保存地址 with open(save_path, ’wb’) as f:f.write(image_data)print(image_name, ’=======================>下載成功！！！’)num = num+1 # 下一張圖片名字序號(hào)加一f.close()print('rn掃描結(jié)果已寫(xiě)入到result.txt文件中rn')思考urllib.request和requests

借鑒的代碼中使用urllib.request來(lái)請(qǐng)求，剛開(kāi)始學(xué)習(xí)看到的一些代碼實(shí)例也常用urllib.request來(lái)發(fā)起請(qǐng)求，之后看到有的代碼使用的是requests。對(duì)于我個(gè)人，主觀感受requests更加便捷，少寫(xiě)了幾行代碼，于是便去查閱了解兩者的區(qū)別。

BeautifulSoup

接觸到了BeautifulSoup，并且在一些文章的評(píng)論中看到對(duì)BeautifulSoup的稱(chēng)贊，進(jìn)入文檔查閱了下用法，改變了我之前對(duì)python，獲取文檔中部分特征的元素節(jié)點(diǎn)的寫(xiě)法困難的印象。

Beautiful Soup 4.4.0 文檔

優(yōu)化處理

之所以要加正則匹配，因?yàn)橐婚_(kāi)始獲取到的圖片鏈接里有空字符串的現(xiàn)象，在下載圖片的時(shí)候直接報(bào)錯(cuò)整個(gè)程序掛掉，而且這個(gè)借鑒代碼中的invalidLink1和invalidLink2看起來(lái)屬實(shí)不舒服。所以添加了正則從源頭保證鏈接的有效性，并且在執(zhí)行下載代碼中，添加了try，except保證程序出錯(cuò)也不會(huì)掛掉。

借鑒的代碼中每一次的下載，都會(huì)對(duì)要保存的目錄進(jìn)行打開(kāi)和關(guān)閉，于是將打開(kāi)關(guān)閉抽離到最外層，下載的邏輯放在里面，下載圖片成功的提速果然肉眼可見(jiàn)~

總結(jié)

壁紙確實(shí)不戳~，希望下一個(gè)學(xué)習(xí)的腳本能更加有趣~

以上就是Python 批量下載陰陽(yáng)師網(wǎng)站壁紙的詳細(xì)內(nèi)容，更多關(guān)于python 下載陰陽(yáng)師網(wǎng)站壁紙的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！