python 開心網(wǎng)和豆瓣日記爬取的小爬蟲
https://github.com/aturret/python-crawler-exercise
用到了BeautifulSoup4，請(qǐng)先安裝。
pip install beautifulsoup4開心網(wǎng)日記爬取
kaixin001.py
使用登錄開心網(wǎng)，瀏覽器F12看http請(qǐng)求的header，獲取自己的cookie。
填寫cookie，要爬的日記的url，要爬的總次數(shù)。走你。
之后會(huì)生成HTML文件，格式是<:title>-<YYYYMMDDHHMMSS>
代碼# -*- coding: utf-8 -*-from urllib.request import urlopenimport urllib.requestimport urllib.parse #為了獲取HTTP responsefrom bs4 import BeautifulSoup #BS4import string # 為了去掉空白字符import time # 防止被殺cookieimport unicodedata # 字符修正# 在這里放第一個(gè)鏈接urlx = ’鏈接’ #寫你想爬的文def request(url): global urlx #引用外面的鏈接作為全局變量，后面還會(huì)取下一個(gè)進(jìn)行循環(huán)的# 使用urllib庫(kù)提交cookie獲取http響應(yīng) headers = { ’GET https’:url, ’Host’:’ www.kaixin001.com’, ’Connection’:’ keep-alive’, ’Upgrade-Insecure-Requests’:’ 1’, ’User-Agent’:’ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36’, ’Accept’:’ application/json, text/javascript, */*; q=0.01’, ’Accept-Language’:’ zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7’, ’Cookie’:’ ’, #改成自己的cookie，自己瀏覽器打開網(wǎng)站F12調(diào)試，自己找http請(qǐng)求的header } request = urllib.request.Request(url=url,headers=headers) response = urllib.request.urlopen(request) contents = response.read()# 使用BS4獲得所有HTMLtag bsObj = BeautifulSoup(contents,'html.parser')# 使用BS4的find函數(shù)得到想要的東西：標(biāo)題、發(fā)表時(shí)間和博客正文 title = bsObj.find('b', attrs={'class':'f14'}) titleT = bsObj.find('b', attrs={'class':'f14'}).get_text() #開心網(wǎng)日記的標(biāo)題是一個(gè)b標(biāo)簽，class屬性值是f14 date = bsObj.find('span', attrs={'class':'c6'}) dateT = bsObj.find('span', attrs={'class':'c6'}).get_text() #開心網(wǎng)日記的發(fā)表時(shí)間是一個(gè)span標(biāo)簽，class屬性值是c6 text = bsObj.find('div', attrs={'class':'textCont'}) textT = bsObj.find('div', attrs={'class':'textCont'}).get_text() #開心網(wǎng)日記的正文是一個(gè)div標(biāo)簽，class屬性值是textCont # 測(cè)試輸出 print(title) print(dateT) # print(text) # 生成HTML文件。這里直接用file.open()和file.write()了，也可以用jinja2之類的框架生成。 remove = string.whitespace+string.punctuation table = str.maketrans(’:’,’：’,remove) fileTitle=str(titleT).replace(’:’,’：’).replace(’’’'’’’,’’’“’’’)+’-’+str(dateT).translate(table).replace(’發(fā)表’,’’)+’.html’ print(fileTitle) #測(cè)試輸出 f = open(fileTitle,’w’,encoding='utf-8') #注意用utf-8編碼寫入，不然會(huì)因?yàn)橐恍┡f博文采用的gbk編碼不兼容而出問題。# 寫入message message = ''' <html> <head></head> <body> <h1>%s</h1> <b>%s</b> <br></br> %s </body> </html>'''%(title.get_text(),date.get_text(),unicodedata.normalize(’NFD’,text.prettify())) f.write(message) f.close() # webbrowser.open(fileTitle,new = 1) # 定位下一篇博文的URL nextUrl=bsObj.find('a',text='下一篇 >').attrs['href'] #下一篇是一個(gè)a標(biāo)簽，使用tag對(duì)象的attrs屬性取href屬性的值。開心網(wǎng)的日記系統(tǒng)里，如果到了最后一篇日記，下一篇的鏈接內(nèi)容是第一篇日記，所以不用擔(dān)心從哪篇日記開始爬。 # print(nextUrl) urlx='http://www.kaixin001.com'+nextUrl print(urlx)# 主循環(huán)，給爺爬num=328 #設(shè)定要爬多少次。其實(shí)也可以寫個(gè)數(shù)組檢測(cè)重復(fù)然后中止的啦，但我懶得弄了。for a in range(num): request(urlx)print(’We get ’+str(a+1)+’ in ’+str(num)) time.sleep(1) # 慢點(diǎn)，慢點(diǎn)。測(cè)試過程中出現(xiàn)了沒有設(shè)置限制爬一半cookie失效了的情況，可能是太快了被搞了。豆瓣日記爬取
douban.py
使用登錄豆瓣，瀏覽器F12看http請(qǐng)求的header，獲取自己的cookie。
填寫變量COOKIE，要爬的日記頁(yè)的url。走你。
之后會(huì)生成HTML文件，格式是<:title>-<YYYYMMDDHHMMSS>
代碼# -*- coding: utf-8 -*-from urllib.request import urlopenimport urllib.requestimport urllib.parse #為了獲取HTTP responsefrom bs4 import BeautifulSoup #BS4import string # 為了去掉空白字符import unicodedata # 字符修正import re# 在這里放鏈接url = ’’ #寫你想爬的人 https://www.douban.com/people/xxx/notes 這樣COOKIE = ’’def request(urlx): global url #引用外面的鏈接作為全局變量，后面還會(huì)取下一個(gè)進(jìn)行循環(huán)的 global boolean global COOKIE# 使用urllib庫(kù)提交cookie獲取http響應(yīng) headers = { ’GET https’:urlx, ’Host’:’ www.douban.com’, ’Connection’:’ keep-alive’, ’Upgrade-Insecure-Requests’:’ 1’, ’User-Agent’:’ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36’, ’Accept’:’ application/json, text/javascript, */*; q=0.01’, ’Accept-Language’:’ zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7’, ’Cookie’:COOKIE, #改成自己的cookie，自己瀏覽器打開網(wǎng)站F12調(diào)試，自己找http請(qǐng)求的header } request = urllib.request.Request(url=urlx,headers=headers) response = urllib.request.urlopen(request) contents = response.read()# 使用BS4獲得所有HTMLtag bsObj = BeautifulSoup(contents,'html.parser')# 使用BS4的find函數(shù)獲取當(dāng)前頁(yè)面的所有日記鏈接 article = bsObj.find('div', attrs={'class':'article'}) titleSet = article.findAll('h3') # print(titleSet) for title in titleSet:titleText = title.findAll('a',attrs={'class':'j a_unfolder_n'})for link in titleText: noteUrl = str(link.attrs['href']) print(noteUrl) requestSinglePage(noteUrl) next = bsObj.find('a',text='后頁(yè)>') if next==None:print('結(jié)束了')boolean=1 else:url = str(next.attrs['href']).replace('&type=note','')print(url)def requestSinglePage(urly): global COOKIE headers = {’GET https’:urly,’Host’:’ www.douban.com’,’Connection’:’ keep-alive’,’Upgrade-Insecure-Requests’:’ 1’,’User-Agent’:’ Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36’,’Accept’:’ application/json, text/javascript, */*; q=0.01’,’Accept-Language’:’ zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7’,’Cookie’:COOKIE, #改成自己的cookie，自己瀏覽器打開網(wǎng)站F12調(diào)試，自己找http請(qǐng)求的header } request = urllib.request.Request(url=urly,headers=headers) response = urllib.request.urlopen(request) contents = response.read() # 使用BS4獲得所有HTMLtag bsObj = BeautifulSoup(contents,'html.parser')# 使用BS4的find函數(shù)得到想要的東西：標(biāo)題、發(fā)表時(shí)間和博客正文 title = bsObj.find('h1').get_text() date = bsObj.find('span', attrs={'class':'pub-date'}) dateT = bsObj.find('span', attrs={'class':'pub-date'}).get_text() text = bsObj.find('div', attrs={'id':'link-report'}) # textT = bsObj.find('div', attrs={'class':'textCont'}).get_text()# 測(cè)試輸出 print(title) print(dateT) # 生成HTML文件。這里直接用file.open()和file.write()了，也可以用jinja2之類的框架生成。 remove = string.whitespace+string.punctuation # 去掉日期的標(biāo)點(diǎn)符號(hào) table = str.maketrans(’:’,’：’,remove) fileTitle=str(title)+’-’+str(dateT).translate(table)+’.html’ print(fileTitle) #測(cè)試輸出 f = open(fileTitle,’w’,encoding='utf-8') #注意用utf-8編碼寫入，不然會(huì)因?yàn)橐恍┡f博文采用的gbk編碼不兼容而出問題。 # 寫入message message = ''' <html> <head></head> <body> <h1>%s</h1> <b>%s</b> <br></br> %s </body> </html>'''%(title,dateT,unicodedata.normalize(’NFD’,text.prettify())) f.write(message) f.close()# 主循環(huán)，給爺爬boolean=0while(boolean==0): a=1 request(url) print(’We finished page ’+str(a)+’ .’) a+=1Roadmap
豆瓣四月份時(shí)候還有bug，手機(jī)端可以看到全部日記，半年隱藏?zé)o效。最近修好了。
不過現(xiàn)在的隱藏依然沒有針對(duì)到具體的日記，或許可以想辦法通過其他手段爬下來。
以上就是python 開心網(wǎng)日記爬取的示例步驟的詳細(xì)內(nèi)容，更多關(guān)于python 開心網(wǎng)日記爬取的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章！
相關(guān)文章：
1. XML入門的常見問題(二)2. asp取整數(shù)mod 有小數(shù)的就自動(dòng)加13. css代碼優(yōu)化的12個(gè)技巧4. phpstudy apache開啟ssi使用詳解5. asp中response.write("中文")或者js中文亂碼問題6. CSS3中Transition屬性詳解以及示例分享7. ASP.NET Core實(shí)現(xiàn)中間件的幾種方式8. jsp cookie+session實(shí)現(xiàn)簡(jiǎn)易自動(dòng)登錄9. ASP基礎(chǔ)知識(shí)Command對(duì)象講解10. JSP 中request與response的用法詳解
網(wǎng)公網(wǎng)安備