电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

簡述python Scrapy框架

瀏覽:15日期:2022-07-13 18:27:22

一、Scrapy框架簡介

Scrapy是用純Python實現一個為了爬取網站數據,提取結構性數據而編寫的應用框架,用途非常廣泛。利用框架,用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲,用來抓取網頁內容以及各種圖片,非常的方便。它使用Twisted這個異步網絡庫來處理網絡通訊,架構清晰,并且包含了各種中間件接口,可以靈活的完成各種需求。Scrapy是Python世界里面最強大的爬蟲框架,它比BeautifulSoup更加完善,BeautifulSoup可以說是輪子,而Scrapy則是車子,不需要關注太多的細節。

二、Scrapy原理

1.ScrapyEngine(引擎):負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊,信號數據傳遞等。

2.Scheduler(調度器):它負責接受引擎發送過來的request請求,并按照定的方式進行整理排列,入隊,當引擎需要時,交還給引擎。

3.Downloader(下載器):負責下載ScrapyEngine發送的所有requests請求,并將其獲取到的responses交還給ScrapyEngine,由引擎交給Spider來處理。

4.Spider(爬蟲):它負責處理所有Responses,從中分析提取數據,獲取ltem字段需要的數據,并將需要跟進的URL提交給引擎,再次進入Scheduler。

5.ItemPipeline(管道):它負責處理Spider中獲取到的ltem,并進行進行后期處理,詳細分析,過濾,存儲等的地方。

6.DownloaderMiddlewares(下載中間件):它是一個可以自定義擴展下載功能的組件。

7.SpiderMiddlewares(Spider中間件):它是一個可以自定擴展和操作引擎和Spider中間通信的功能組件比如進入Spider的Responses,和從Spider出去的Requests。

三、創建Scrapy項目

新建項目命令:

scrapy startproject xxx

在開始爬取之前,必須創建一個新的Scrapy項目。進入自定義的項目目錄中,運行下列命令:

scrapy startproject xxx

其中,xxx為項目名稱,可以看到將會創建一個xxx文件夾,目錄結構大致如下:

簡述python Scrapy框架

四、創建爬蟲

創建爬蟲的命令:

scrapy genspider 爬蟲名字網站域名

應當注意的是爬蟲名字不要和項目名字一-樣,網站域名是允許爬蟲采集的域名如,baidu. com,zhihu. com。創建后python文件如下:

簡述python Scrapy框架

五、總結

Scrapy框架相當于一輛造好的車子,只要我們會開,我們就可以利用這輛車子去到任意想去的地方。通常我們使用的request的方法就相當于在出發前再去造一輛車子,這是相當麻煩的。學好Scrapy,對于網上80%的網站我們都可以進行爬取。

以上就是簡述python Scrapy框架的詳細內容,更多關于python Scrapy框架的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 新能源汽车教学设备厂家报价[汽车教学设备运营18年]-恒信教具 | 河北中仪伟创试验仪器有限公司是专业生产沥青,土工,水泥,混凝土等试验仪器的厂家,咨询电话:13373070969 | 云南成考网_云南成人高考报名网| ETFE膜结构_PTFE膜结构_空间钢结构_膜结构_张拉膜_浙江萬豪空间结构集团有限公司 | 生物制药洁净车间-GMP车间净化工程-食品净化厂房-杭州波涛净化设备工程有限公司 | 超声波_清洗机_超声波清洗机专业生产厂家-深圳市好顺超声设备有限公司 | 磁力轮,磁力联轴器,磁齿轮,钕铁硼磁铁-北京磁运达厂家 | 权威废金属|废塑料|废纸|废铜|废钢价格|再生资源回收行情报价中心-中废网 | 警方提醒:赣州约炮论坛真的安全吗?2025年新手必看的网络交友防坑指南 | 传爱自考网_传爱自学考试网 | 液压中心架,数控中心架,自定心中心架-烟台恒阳机电设计有限公司 行星搅拌机,双行星搅拌机,动力混合机,无锡米克斯行星搅拌机生产厂家 | 无锡装修装潢公司,口碑好的装饰装修公司-无锡索美装饰设计工程有限公司 | 爆炸冲击传感器-无线遥测传感器-航天星百科 | 健身器材-健身器材厂家专卖-上海七诚健身器材有限公司 | 办公室家具_板式办公家具定制厂家-FMARTS福玛仕办公家具 | 仪器仪表网 - 永久免费的b2b电子商务平台 | 「阿尔法设计官网」工业设计_产品设计_产品外观设计 深圳工业设计公司 | 起好名字_取个好名字_好名网免费取好名在线打分 | vr安全体验馆|交通安全|工地安全|禁毒|消防|安全教育体验馆|安全体验教室-贝森德(深圳)科技 | 喷砂机厂家_自动除锈抛丸机价格-成都泰盛吉自动化喷砂设备 | 猎头招聘_深圳猎头公司_知名猎头公司| 昆山新莱洁净应用材料股份有限公司-卫生级蝶阀,无菌取样阀,不锈钢隔膜阀,换向阀,离心泵 | 工作服定制,工作服定做,工作服厂家-卡珀职业服装(苏州)有限公司 | 北京四合院出租,北京四合院出售,北京平房买卖 - 顺益兴四合院 | 色谱柱-淋洗液罐-巴罗克试剂槽-巴氏吸管-5ml样品瓶-SBS液氮冻存管-上海希言科学仪器有限公司 | 数控走心机-双主轴走心机厂家-南京建克 | 磁力加热搅拌器-多工位|大功率|数显恒温磁力搅拌器-司乐仪器官网 | 新中天检测有限公司青岛分公司-山东|菏泽|济南|潍坊|泰安防雷检测验收 | 深圳VI设计-画册设计-LOGO设计-包装设计-品牌策划公司-[智睿画册设计公司] | 植筋胶-粘钢胶-碳纤维布-碳纤维板-环氧砂浆-加固材料生产厂家-上海巧力建筑科技有限公司 | 聚氨酯保温钢管_聚氨酯直埋保温管道_聚氨酯发泡保温管厂家-沧州万荣防腐保温管道有限公司 | 众品地板网-地板品牌招商_地板装修设计_地板门户的首选网络媒体。 | 成都热收缩包装机_袖口式膜包机_高速塑封机价格_全自动封切机器_大型套膜机厂家 | 低温柔性试验仪-土工布淤堵-沥青车辙试验仪-莱博特(天津)试验机有限公司 | 字典-新华字典-在线字典查字-字典趣 | MTK核心板|MTK开发板|MTK模块|4G核心板|4G模块|5G核心板|5G模块|安卓核心板|安卓模块|高通核心板-深圳市新移科技有限公司 | 存包柜厂家_电子存包柜_超市存包柜_超市电子存包柜_自动存包柜-洛阳中星 | 西安展台设计搭建_西安活动策划公司_西安会议会场布置_西安展厅设计西安旭阳展览展示 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 厂房出售_厂房仓库出租_写字楼招租_土地出售-中苣招商网-中苣招商网 | 东莞注册公司-代办营业执照-东莞公司注册代理记账-极刻财税 |