Python Scrapy圖片爬取原理及代碼實(shí)例
1.在爬蟲文件中只需要解析提取出圖片地址,然后將地址提交給管道
在管道文件對圖片進(jìn)行下載和持久化存儲
class ImgSpider(scrapy.Spider): name = ’img’ # allowed_domains = [’www.xxx.com’] start_urls = [’http://www.521609.com/daxuemeinv/’] url = ’http://www.521609.com/daxuemeinv/list8%d.html’ pageNum = 1 def parse(self, response): li_list = response.xpath(’//*[@id='content']/div[2]/div[2]/ul/li’) for li in li_list: img_src = ’http://www.521609.com’+li.xpath(’./a[1]/img/@src’).extract_first() item = ImgproItem() item[’src’] = img_src yield item
2.配置文件修改
配置文件要增加IMAGES_STORE = ’./imgsLib’表明圖片存放的路徑
3.管道類的修改
原本管道類繼承的object,處理item對象使用時(shí)process_item方法,該方法不能發(fā)送請求,要想對圖片地址發(fā)送請求,需要繼承ImagesPipeline類,然后重寫該類中的三個(gè)方法:get_media_requests,file_path,item_completed
from scrapy.pipelines.images import ImagesPipelineimport scrapyclass ImgproPipeline(ImagesPipeline): #對某一個(gè)媒體資源進(jìn)行請求發(fā)送 #item就是接收到的spider提交過來的item def get_media_requests(self, item, info): yield scrapy.Request(item[’src’]) #制定媒體數(shù)據(jù)存儲的名稱 def file_path(self, request, response=None, info=None): name = request.url.split(’/’)[-1] print(’正在下載:’,name) return name #將item傳遞給下一個(gè)即將給執(zhí)行的管道類 def item_completed(self, results, item, info): return item
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. Java GZip 基于內(nèi)存實(shí)現(xiàn)壓縮和解壓的方法2. Python+unittest+requests 接口自動(dòng)化測試框架搭建教程3. 利用CSS制作3D動(dòng)畫4. 存儲于xml中需要的HTML轉(zhuǎn)義代碼5. SpringBoot+TestNG單元測試的實(shí)現(xiàn)6. jsp+servlet簡單實(shí)現(xiàn)上傳文件功能(保存目錄改進(jìn))7. Python的文本常量與字符串模板之string庫8. .Net加密神器Eazfuscator.NET?2023.2?最新版使用教程9. 完美解決vue 中多個(gè)echarts圖表自適應(yīng)的問題10. Springboot 全局日期格式化處理的實(shí)現(xiàn)
