电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

springboot+WebMagic+MyBatis爬蟲框架的使用

瀏覽:38日期:2023-02-18 18:25:39
目錄1.添加maven依賴2.項目配置文件 application.properties3.數據庫表結構4.實體類5.mapper接口6.CrawlerMapper.xml文件7.知乎頁面內容處理類ZhihuPageProcessor8.知乎數據處理類ZhihuPipeline9.知乎爬蟲任務類ZhihuTask10.Spring boot程序啟動類

WebMagic是一個開源的java爬蟲框架。WebMagic框架的使用并不是本文的重點,具體如何使用請參考官方文檔:http://webmagic.io/docs/。

本文是對spring boot+WebMagic+MyBatis做了整合,使用WebMagic爬取數據,然后通過MyBatis持久化爬取的數據到mysql數據庫。本文提供的源代碼可以作為java爬蟲項目的腳手架。

springboot+WebMagic+MyBatis爬蟲框架的使用

1.添加maven依賴

<?xml version='1.0' encoding='UTF-8'?><project xmlns='http://maven.apache.org/POM/4.0.0' xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:schemaLocation='http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd'> <modelVersion>4.0.0</modelVersion> <groupId>hyzx</groupId> <artifactId>qbasic-crawler</artifactId> <version>1.0.0</version> <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>1.5.21.RELEASE</version><relativePath/> <!-- lookup parent from repository --> </parent> <properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><maven.test.skip>true</maven.test.skip><java.version>1.8</java.version><maven.compiler.plugin.version>3.8.1</maven.compiler.plugin.version><maven.resources.plugin.version>3.1.0</maven.resources.plugin.version><mysql.connector.version>5.1.47</mysql.connector.version><druid.spring.boot.starter.version>1.1.17</druid.spring.boot.starter.version><mybatis.spring.boot.starter.version>1.3.4</mybatis.spring.boot.starter.version><fastjson.version>1.2.58</fastjson.version><commons.lang3.version>3.9</commons.lang3.version><joda.time.version>2.10.2</joda.time.version><webmagic.core.version>0.7.3</webmagic.core.version> </properties> <dependencies><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> <optional>true</optional></dependency><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope></dependency><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-configuration-processor</artifactId> <optional>true</optional></dependency><dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>${mysql.connector.version}</version></dependency><dependency> <groupId>com.alibaba</groupId> <artifactId>druid-spring-boot-starter</artifactId> <version>${druid.spring.boot.starter.version}</version></dependency><dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>${mybatis.spring.boot.starter.version}</version></dependency><dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>${fastjson.version}</version></dependency><dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>${commons.lang3.version}</version></dependency><dependency> <groupId>joda-time</groupId> <artifactId>joda-time</artifactId> <version>${joda.time.version}</version></dependency><dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>${webmagic.core.version}</version> <exclusions><exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId></exclusion> </exclusions></dependency> </dependencies> <build><plugins> <plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>${maven.compiler.plugin.version}</version><configuration> <source>${java.version}</source> <target>${java.version}</target> <encoding>${project.build.sourceEncoding}</encoding></configuration> </plugin> <plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-resources-plugin</artifactId><version>${maven.resources.plugin.version}</version><configuration> <encoding>${project.build.sourceEncoding}</encoding></configuration> </plugin> <plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><configuration> <fork>true</fork> <addResources>true</addResources></configuration><executions> <execution><goals> <goal>repackage</goal></goals> </execution></executions> </plugin></plugins> </build> <repositories><repository> <id>public</id> <name>aliyun nexus</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <releases><enabled>true</enabled> </releases></repository> </repositories> <pluginRepositories><pluginRepository> <id>public</id> <name>aliyun nexus</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <releases><enabled>true</enabled> </releases> <snapshots><enabled>false</enabled> </snapshots></pluginRepository> </pluginRepositories></project>2.項目配置文件 application.properties

配置mysql數據源,druid數據庫連接池以及MyBatis的mapper文件的位置。

# mysql數據源配置spring.datasource.name=mysqlspring.datasource.type=com.alibaba.druid.pool.DruidDataSourcespring.datasource.driver-class-name=com.mysql.jdbc.Driverspring.datasource.url=jdbc:mysql://192.168.0.63:3306/gjhzjl?useUnicode=true&characterEncoding=utf8&useSSL=false&allowMultiQueries=truespring.datasource.username=rootspring.datasource.password=root# druid數據庫連接池配置spring.datasource.druid.initial-size=5spring.datasource.druid.min-idle=5spring.datasource.druid.max-active=10spring.datasource.druid.max-wait=60000spring.datasource.druid.validation-query=SELECT 1 FROM DUALspring.datasource.druid.test-on-borrow=falsespring.datasource.druid.test-on-return=falsespring.datasource.druid.test-while-idle=truespring.datasource.druid.time-between-eviction-runs-millis=60000spring.datasource.druid.min-evictable-idle-time-millis=300000spring.datasource.druid.max-evictable-idle-time-millis=600000# mybatis配置mybatis.mapperLocations=classpath:mapper/**/*.xml3.數據庫表結構

CREATE TABLE `cms_content` ( `contentId` varchar(40) NOT NULL COMMENT ’內容ID’, `title` varchar(150) NOT NULL COMMENT ’標題’, `content` longtext COMMENT ’文章內容’, `releaseDate` datetime NOT NULL COMMENT ’發布日期’, PRIMARY KEY (`contentId`)) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT=’CMS內容表’;4.實體類

import java.util.Date;public class CmsContentPO { private String contentId; private String title; private String content; private Date releaseDate; public String getContentId() {return contentId; } public void setContentId(String contentId) {this.contentId = contentId; } public String getTitle() {return title; } public void setTitle(String title) {this.title = title; } public String getContent() {return content; } public void setContent(String content) {this.content = content; } public Date getReleaseDate() {return releaseDate; } public void setReleaseDate(Date releaseDate) {this.releaseDate = releaseDate; }}5.mapper接口

public interface CrawlerMapper { int addCmsContent(CmsContentPO record);}6.CrawlerMapper.xml文件

<?xml version='1.0' encoding='UTF-8'?><!DOCTYPE mapper PUBLIC '-//mybatis.org//DTD Mapper 3.0//EN' 'http://mybatis.org/dtd/mybatis-3-mapper.dtd'><mapper namespace='com.hyzx.qbasic.dao.CrawlerMapper'> <insert parameterType='com.hyzx.qbasic.model.CmsContentPO'>insert into cms_content (contentId, title, releaseDate, content)values (#{contentId,jdbcType=VARCHAR},#{title,jdbcType=VARCHAR},#{releaseDate,jdbcType=TIMESTAMP},#{content,jdbcType=LONGVARCHAR}) </insert></mapper>7.知乎頁面內容處理類ZhihuPageProcessor

主要用于解析爬取到的知乎html頁面。

@Componentpublic class ZhihuPageProcessor implements PageProcessor { private Site site = Site.me().setRetryTimes(3).setSleepTime(1000); @Override public void process(Page page) {page.addTargetRequests(page.getHtml().links().regex('https://www.zhihu.com/question/d+/answer/d+.*').all());page.putField('title', page.getHtml().xpath('//h1[@class=’QuestionHeader-title’]/text()').toString());page.putField('answer', page.getHtml().xpath('//div[@class=’QuestionAnswer-content’]/tidyText()').toString());if (page.getResultItems().get('title') == null) { // 如果是列表頁,跳過此頁,pipeline不進行后續處理 page.setSkip(true);} } @Override public Site getSite() {return site; }}8.知乎數據處理類ZhihuPipeline

主要用于將知乎html頁面解析出的數據存儲到mysql數據庫。

@Componentpublic class ZhihuPipeline implements Pipeline { private static final Logger LOGGER = LoggerFactory.getLogger(ZhihuPipeline.class); @Autowired private CrawlerMapper crawlerMapper; public void process(ResultItems resultItems, Task task) {String title = resultItems.get('title');String answer = resultItems.get('answer');CmsContentPO contentPO = new CmsContentPO();contentPO.setContentId(UUID.randomUUID().toString());contentPO.setTitle(title);contentPO.setReleaseDate(new Date());contentPO.setContent(answer);try { boolean success = crawlerMapper.addCmsContent(contentPO) > 0; LOGGER.info('保存知乎文章成功:{}', title);} catch (Exception ex) { LOGGER.error('保存知乎文章失敗', ex);} }}9.知乎爬蟲任務類ZhihuTask

每十分鐘啟動一次爬蟲。

@Componentpublic class ZhihuTask { private static final Logger LOGGER = LoggerFactory.getLogger(ZhihuPipeline.class); @Autowired private ZhihuPipeline zhihuPipeline; @Autowired private ZhihuPageProcessor zhihuPageProcessor; private ScheduledExecutorService timer = Executors.newSingleThreadScheduledExecutor(); public void crawl() {// 定時任務,每10分鐘爬取一次timer.scheduleWithFixedDelay(() -> { Thread.currentThread().setName('zhihuCrawlerThread'); try {Spider.create(zhihuPageProcessor)// 從https://www.zhihu.com/explore開始抓.addUrl('https://www.zhihu.com/explore')// 抓取到的數據存數據庫.addPipeline(zhihuPipeline)// 開啟2個線程抓取.thread(2)// 異步啟動爬蟲.start(); } catch (Exception ex) {LOGGER.error('定時抓取知乎數據線程執行異常', ex); }}, 0, 10, TimeUnit.MINUTES); }}10.Spring boot程序啟動類

@SpringBootApplication@MapperScan(basePackages = 'com.hyzx.qbasic.dao')public class Application implements CommandLineRunner { @Autowired private ZhihuTask zhihuTask; public static void main(String[] args) throws IOException {SpringApplication.run(Application.class, args); } @Override public void run(String... strings) throws Exception {// 爬取知乎數據zhihuTask.crawl(); }}

到此這篇關于springboot+WebMagic+MyBatis爬蟲框架的使用的文章就介紹到這了,更多相關springboot+WebMagic+MyBatis爬蟲內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: Spring
相關文章:
主站蜘蛛池模板: 贝朗斯动力商城(BRCPOWER.COM) - 买叉车蓄电池上贝朗斯商城,价格更超值,品质有保障! | 金属软管_不锈钢金属软管_巩义市润达管道设备制造有限公司 | 电主轴-高速精密电主轴-高速电机厂家-瑞德沃斯品牌有限公司 | 冷却塔改造厂家_不锈钢冷却塔_玻璃钢冷却塔改造维修-广东特菱节能空调设备有限公司 | 丁基胶边来料加工,医用活塞边角料加工,异戊二烯橡胶边来料加工-河北盛唐橡胶制品有限公司 | 热熔胶网膜|pes热熔网膜价格|eva热熔胶膜|热熔胶膜|tpu热熔胶膜厂家-苏州惠洋胶粘制品有限公司 | 茅茅虫AI论文写作助手-免费AIGC论文查重_写毕业论文降重 | 单螺旋速冻机-双螺旋-流态化-隧道式-食品速冻机厂家-广州冰泉制冷 | Duoguan 夺冠集团 | Eiafans.com_环评爱好者 环评网|环评论坛|环评报告公示网|竣工环保验收公示网|环保验收报告公示网|环保自主验收公示|环评公示网|环保公示网|注册环评工程师|环境影响评价|环评师|规划环评|环评报告|环评考试网|环评论坛 - Powered by Discuz! | 华东师范大学在职研究生招生网_在职研究生招生联展网 | jrs高清nba(无插件)直播-jrs直播低调看直播-jrs直播nba-jrs直播 上海地磅秤|电子地上衡|防爆地磅_上海地磅秤厂家–越衡称重 | FAG轴承,苏州FAG轴承,德国FAG轴承-恩梯必传动设备(苏州)有限公司 | 洗砂机械-球磨制砂机-洗沙制砂机械设备_青州冠诚重工机械有限公司 | 志高装潢官网-苏州老房旧房装修改造-二手房装修翻新 | 实验室隔膜泵-无油防腐蚀隔膜泵-耐腐蚀隔膜真空泵-杭州景程仪器 电杆荷载挠度测试仪-电杆荷载位移-管桩测试仪-北京绿野创能机电设备有限公司 | 微妙网,专业的动画师、特效师、CG模型设计师网站! - wmiao.com 超声波电磁流量计-液位计-孔板流量计-料位计-江苏信仪自动化仪表有限公司 | 双吸泵,双吸泵厂家,OS双吸泵-山东博二泵业有限公司 | 【电子厂招聘_普工招工网_工厂招聘信息平台】-工立方打工网 | 企业VI设计_LOGO设计公司_品牌商标设计_【北京美研】 | 打包钢带,铁皮打包带,烤蓝打包带-高密市金和金属制品厂 | 校服厂家,英伦校服定做工厂,园服生产定制厂商-东莞市艾咪天使校服 | 冷油器-冷油器换管改造-连云港灵动列管式冷油器生产厂家 | 河南mpp电力管_mpp电力管生产厂家_mpp电力电缆保护管价格 - 河南晨翀实业 | 气动隔膜泵-电动隔膜泵-循环热水泵-液下排污/螺杆/管道/化工泵「厂家」浙江绿邦 | 变位机,焊接变位机,焊接变位器,小型变位机,小型焊接变位机-济南上弘机电设备有限公司 | 百方网-百方电气网,电工电气行业专业的B2B电子商务平台 | 照相馆预约系统,微信公众号摄影门店系统,影楼管理软件-盟百网络 | 上海小程序开发-上海小程序制作公司-上海网站建设-公众号开发运营-软件外包公司-咏熠科技 | 商标转让-商标注册-商标查询-软著专利服务平台 - 赣江万网 | 「银杏树」银杏树行情价格_银杏树种植_山东程锦园林 | TTCMS自助建站_网站建设_自助建站_免费网站_免费建站_天天向上旗下品牌 | 旋片真空泵_真空泵_水环真空泵_真空机组-深圳恒才机电设备有限公司 | 全自动实验室洗瓶机,移液管|培养皿|进样瓶清洗机,清洗剂-广州摩特伟希尔机械设备有限责任公司 | 东莞螺杆空压机_永磁变频空压机_节能空压机_空压机工厂批发_深圳螺杆空压机_广州螺杆空压机_东莞空压机_空压机批发_东莞空压机工厂批发_东莞市文颖设备科技有限公司 | 天津货架厂_穿梭车货架_重型仓储货架_阁楼货架定制-天津钢力仓储货架生产厂家_天津钢力智能仓储装备 | 金属回收_废铜废铁回收_边角料回收_废不锈钢回收_废旧电缆线回收-广东益夫金属回收公司 | 河北中仪伟创试验仪器有限公司是专业生产沥青,土工,水泥,混凝土等试验仪器的厂家,咨询电话:13373070969 | 丝杆升降机-不锈钢丝杆升降机-非标定制丝杆升降机厂家-山东鑫光减速机有限公司 | 沈阳缠绕包装机厂家直销-沈阳海鹞托盘缠绕包装机价格 | 防火卷帘门价格-聊城一维工贸特级防火卷帘门厂家▲ |