电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

Python使用Chrome插件實現爬蟲過程圖解

瀏覽:13日期:2022-07-21 18:36:06

做電商時,消費者對商品的評論是很重要的,但是不會寫代碼怎么辦?這里有個Chrome插件可以做到簡單的數據爬取,一句代碼都不用寫。下面給大家展示部分抓取后的數據:

Python使用Chrome插件實現爬蟲過程圖解

可以看到,抓取的地址,評論人,評論內容,時間,產品顏色都已經抓取下來了。那么,爬取這些數據需要哪些工具呢?就兩個:

1. Chrome瀏覽器;

2. 插件:Web Scraper

插件下載地址:https://chromecj.com/productivity/2018-05/942.html

最后,如果你想自己動手抓取一下,這里是這次抓取的詳細過程:

1. 首先,復制如下的代碼,對,你不需要寫代碼,但是為了便于上手,復制代碼還是需要的,后續可以自己定制和選擇,不需要寫代碼。

{ '_id': 'jdreview', 'startUrl': [ 'https://item.jd.com/100000680365.html#comment' ], 'selectors': [ { 'id': 'user', 'type': 'SelectorText', 'selector': 'div.user-info', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': 0 }, { 'id': 'comments', 'type': 'SelectorText', 'selector': 'div.comment-column > p.comment-con', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': 0 }, { 'id': 'time', 'type': 'SelectorText', 'selector': 'div.comment-message:nth-of-type(5) span:nth-of-type(4), div.order-info span:nth-of-type(4)', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': '0' }, { 'id': 'color', 'type': 'SelectorText', 'selector': 'div.order-info span:nth-of-type(1)', 'parentSelectors': ['main' ], 'multiple': false, 'regex': '', 'delay': 0 }, { 'id': 'main', 'type': 'SelectorElementClick', 'selector': 'div.comment-item', 'parentSelectors': ['_root' ], 'multiple': true, 'delay': '10000', 'clickElementSelector': 'div.com-table-footer a.ui-pager-next', 'clickType': 'clickMore', 'discardInitialElements': false, 'clickElementUniquenessType': 'uniqueHTMLText' } ]}

2. 然后打開chrome瀏覽器,在任意頁面同時按下Ctrl+Shift+i,在彈出的窗口中找到Web Scraper,如下:

Python使用Chrome插件實現爬蟲過程圖解

3. 如下

Python使用Chrome插件實現爬蟲過程圖解

4. 如圖,粘貼上述的代碼:

Python使用Chrome插件實現爬蟲過程圖解

5. 如圖,如果需要定制網址,注意替代一下,網址后面的#comment是直達評論的鏈接,不能去掉:

Python使用Chrome插件實現爬蟲過程圖解

6. 如圖:

Python使用Chrome插件實現爬蟲過程圖解

7. 如圖:

Python使用Chrome插件實現爬蟲過程圖解

8. 如圖,點擊Scrape后,會自動運行打開需要抓取得頁面,不要關閉窗口,靜靜等待完成,完成后右下方會提示完成,一般1000條以內的評論不會有問題:

Python使用Chrome插件實現爬蟲過程圖解

9. 最后,點擊下載到電腦,數據保存好。

Python使用Chrome插件實現爬蟲過程圖解

使用這個工具的好處是:

1. 不需要編程;

2. 京東的評論基本可以通用此腳本,修改對應的url即可;

3. 如果需要爬取的評論不到1000條,這個工具會非常稱手,所有的數據完全自動下載;

使用的注意點:

1. 抓取過一次的數據會有記錄,立刻再次抓取將不會保存,建議關閉瀏覽器重新打開后再試;

2. 抓取數量:1000條以內沒有問題,可能是京東按照IP直接阻止了更多的爬取;

如果你的英語水平不錯,可以嘗試閱讀官方文檔,進一步學習和定制自己的爬蟲。

官方教程:https://www.webscraper.io/documentation

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 网络推广公司_网络营销方案策划_企业网络推广外包平台-上海澜推网络 | 船老大板材_浙江船老大全屋定制_船老大官网 | 合肥废气治理设备_安徽除尘设备_工业废气处理设备厂家-盈凯环保 合肥防火门窗/隔断_合肥防火卷帘门厂家_安徽耐火窗_良万消防设备有限公司 | 高考志愿规划师_高考规划师_高考培训师_高报师_升学规划师_高考志愿规划师培训认证机构「向阳生涯」 | 可程式恒温恒湿试验箱|恒温恒湿箱|恒温恒湿试验箱|恒温恒湿老化试验箱|高低温试验箱价格报价-广东德瑞检测设备有限公司 | 动库网动库商城-体育用品专卖店:羽毛球,乒乓球拍,网球,户外装备,运动鞋,运动包,运动服饰专卖店-正品运动品网上商城动库商城网 - 动库商城 | 智慧养老_居家养老_社区养老_杰佳通 | MES系统工业智能终端_生产管理看板/安灯/ESOP/静电监控_讯鹏科技 | 北京签证代办_签证办理_商务签证_旅游签证_寰球签证网 | 北京开源多邦科技发展有限公司官网| 超声波气象站_防爆气象站_空气质量监测站_负氧离子检测仪-风途物联网 | 氧化锆陶瓷_氧化锆陶瓷加工_氧化锆陶瓷生产厂家-康柏工业陶瓷有限公司 | 据信,上课带着跳 D 体验-别样的课堂刺激感受引发网友热议 | 软文世界-软文推广-软文营销-新闻稿发布-一站式软文自助发稿平台 | 沉降天平_沉降粒度仪_液体比重仪-上海方瑞仪器有限公司 | 国产离子色谱仪,红外分光测油仪,自动烟尘烟气测试仪-青岛埃仑通用科技有限公司 | 阿里巴巴诚信通温州、台州、宁波、嘉兴授权渠道商-浙江联欣科技提供阿里会员办理 | 高清视频编码器,4K音视频编解码器,直播编码器,流媒体服务器,深圳海威视讯技术有限公司 | 二氧化碳/活性炭投加系统,次氯酸钠发生器,紫外线消毒设备|广州新奥 | 不锈钢水箱生产厂家_消防水箱生产厂家-河南联固供水设备有限公司 | 超声骨密度仪,双能X射线骨密度仪【起草单位】,骨密度检测仪厂家 - 品源医疗(江苏)有限公司 | 河南中整光饰机械有限公司-抛光机,去毛刺抛光机,精密镜面抛光机,全自动抛光机械设备 | 杭州成人高考_浙江省成人高考网上报名 | 主题班会网 - 安全教育主题班会,各类主题班会PPT模板 | 好看的韩国漫画_韩漫在线免费阅读-汗汗漫画 | 无线联网门锁|校园联网门锁|学校智能门锁|公租房智能门锁|保障房管理系统-KEENZY中科易安 | 超细|超微气流粉碎机|气流磨|气流分级机|粉体改性机|磨粉机|粉碎设备-山东埃尔派粉体科技 | 铝机箱_铝外壳加工_铝外壳厂家_CNC散热器加工-惠州市铂源五金制品有限公司 | 高压微雾加湿器_工业加湿器_温室喷雾-昌润空气净化设备 | 新材料分散-高速均质搅拌机-超声波分散混合-上海化烁智能设备有限公司 | 北京百度网站优化|北京网站建设公司-百谷网络科技 | 室内室外厚型|超薄型|非膨胀型钢结构防火涂料_隧道专用防火涂料厂家|电话|价格|批发|施工 | 污水/卧式/潜水/钻井/矿用/大型/小型/泥浆泵,价格,参数,型号,厂家 - 安平县鼎千泵业制造厂 | 土壤有机碳消解器-石油|表层油类分析采水器-青岛溯源环保设备有限公司 | 挤奶设备过滤纸,牛奶过滤纸,挤奶机过滤袋-济南蓝贝尔工贸有限公司 | 真丝围巾|真丝丝巾|羊绒围巾|围巾品牌|浙江越缇围巾厂家定制 | 家庭教育吧-在线家庭教育平台,专注青少年家庭教育 | 芜湖厨房设备_芜湖商用厨具_芜湖厨具设备-芜湖鑫环厨具有限公司 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | 钢木实验台-全钢实验台-化验室通风柜-实验室装修厂家-杭州博扬实验设备 | 水环真空泵厂家,2bv真空泵,2be真空泵-淄博真空设备厂 | 英语词典_成语词典_日语词典_法语词典_在线词典网 |