电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

簡述python Scrapy框架

瀏覽:5日期:2022-07-13 18:27:22

一、Scrapy框架簡介

Scrapy是用純Python實現一個為了爬取網站數據,提取結構性數據而編寫的應用框架,用途非常廣泛。利用框架,用戶只需要定制開發幾個模塊就可以輕松的實現一個爬蟲,用來抓取網頁內容以及各種圖片,非常的方便。它使用Twisted這個異步網絡庫來處理網絡通訊,架構清晰,并且包含了各種中間件接口,可以靈活的完成各種需求。Scrapy是Python世界里面最強大的爬蟲框架,它比BeautifulSoup更加完善,BeautifulSoup可以說是輪子,而Scrapy則是車子,不需要關注太多的細節。

二、Scrapy原理

1.ScrapyEngine(引擎):負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊,信號數據傳遞等。

2.Scheduler(調度器):它負責接受引擎發送過來的request請求,并按照定的方式進行整理排列,入隊,當引擎需要時,交還給引擎。

3.Downloader(下載器):負責下載ScrapyEngine發送的所有requests請求,并將其獲取到的responses交還給ScrapyEngine,由引擎交給Spider來處理。

4.Spider(爬蟲):它負責處理所有Responses,從中分析提取數據,獲取ltem字段需要的數據,并將需要跟進的URL提交給引擎,再次進入Scheduler。

5.ItemPipeline(管道):它負責處理Spider中獲取到的ltem,并進行進行后期處理,詳細分析,過濾,存儲等的地方。

6.DownloaderMiddlewares(下載中間件):它是一個可以自定義擴展下載功能的組件。

7.SpiderMiddlewares(Spider中間件):它是一個可以自定擴展和操作引擎和Spider中間通信的功能組件比如進入Spider的Responses,和從Spider出去的Requests。

三、創建Scrapy項目

新建項目命令:

scrapy startproject xxx

在開始爬取之前,必須創建一個新的Scrapy項目。進入自定義的項目目錄中,運行下列命令:

scrapy startproject xxx

其中,xxx為項目名稱,可以看到將會創建一個xxx文件夾,目錄結構大致如下:

簡述python Scrapy框架

四、創建爬蟲

創建爬蟲的命令:

scrapy genspider 爬蟲名字網站域名

應當注意的是爬蟲名字不要和項目名字一-樣,網站域名是允許爬蟲采集的域名如,baidu. com,zhihu. com。創建后python文件如下:

簡述python Scrapy框架

五、總結

Scrapy框架相當于一輛造好的車子,只要我們會開,我們就可以利用這輛車子去到任意想去的地方。通常我們使用的request的方法就相當于在出發前再去造一輛車子,這是相當麻煩的。學好Scrapy,對于網上80%的網站我們都可以進行爬取。

以上就是簡述python Scrapy框架的詳細內容,更多關于python Scrapy框架的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 国产液相色谱仪-超高效液相色谱仪厂家-上海伍丰科学仪器有限公司 | 儋州在线-儋州招聘找工作、找房子、找对象,儋州综合生活信息门户! | 真空粉体取样阀,电动楔式闸阀,电动针型阀-耐苛尔(上海)自动化仪表有限公司 | 一体化隔油提升设备-餐饮油水分离器-餐厨垃圾处理设备-隔油池-盐城金球环保产业发展有限公司 | 回转支承-转盘轴承-回转驱动生产厂家-洛阳隆达轴承有限公司 | 上海公众号开发-公众号代运营公司-做公众号的公司企业服务商-咏熠软件 | 丹佛斯变频器-丹佛斯压力开关-变送器-广州市风华机电设备有限公司 | 东莞市天进机械有限公司-钉箱机-粘箱机-糊箱机-打钉机认准东莞天进机械-厂家直供更放心! | 大型冰雕-景区冰雕展制作公司,3D创意设计源头厂家-[赛北冰雕] | 南京试剂|化学试剂|分析试剂|实验试剂|cas号查询-专业60年试剂销售企业 | 铜镍-康铜-锰铜-电阻合金-NC003 - 杭州兴宇合金有限公司 | 上海小程序开发-上海小程序制作公司-上海网站建设-公众号开发运营-软件外包公司-咏熠科技 | 生物颗粒燃烧机-生物质燃烧机-热风炉-生物颗粒蒸汽发生器-丽水市久凯能源设备有限公司 | 气动调节阀,电动调节阀,自力式压力调节阀,切断阀「厂家」-浙江利沃夫自控阀门 | 臻知网大型互动问答社区-你的问题将在这里得到解答!-无锡据风网络科技有限公司 | 硬齿面减速机[型号全],ZQ减速机-淄博久增机械 | 专业广州网站建设,微信小程序开发,一物一码和NFC应用开发、物联网、外贸商城、定制系统和APP开发【致茂网络】 | 石栏杆_青石栏杆_汉白玉栏杆_花岗岩栏杆 - 【石雕之乡】点石石雕石材厂 | 市政路灯_厂家-淄博信达电力科技有限公司 | 超声波气象站_防爆气象站_空气质量监测站_负氧离子检测仪-风途物联网 | 济南拼接屏_山东液晶拼接屏_济南LED显示屏—维康国际官网 | 根系分析仪,大米外观品质检测仪,考种仪,藻类鉴定计数仪,叶面积仪,菌落计数仪,抑菌圈测量仪,抗生素效价测定仪,植物表型仪,冠层分析仪-杭州万深检测仪器网 | 蓝牙音频分析仪-多功能-四通道-八通道音频分析仪-东莞市奥普新音频技术有限公司 | 小型铜米机-干式铜米机-杂线全自动铜米机-河南鑫世昌机械制造有限公司 | 水厂自动化-水厂控制系统-泵站自动化|控制系统-闸门自动化控制-济南华通中控科技有限公司 | 聚合氯化铝-碱式氯化铝-聚合硫酸铁-聚氯化铝铁生产厂家多少钱一吨-聚丙烯酰胺价格_河南浩博净水材料有限公司 | 餐饮小吃技术培训-火锅串串香培训「何小胖培训」_成都点石成金[官网] | 艾默生变频器,艾默生ct,变频器,ct驱动器,广州艾默生变频器,供水专用变频器,风机变频器,电梯变频器,艾默生变频器代理-广州市盟雄贸易有限公司官方网站-艾默生变频器应用解决方案服务商 | 广州展台特装搭建商|特装展位设计搭建|展会特装搭建|特装展台制作设计|展览特装公司 | 气动球阀_衬氟蝶阀_调节阀_电动截止阀_上海沃托阀门有限公司 | 【黄页88网】-B2B电子商务平台,b2b平台免费发布信息网 | 成都APP开发-成都App定制-成都app开发公司-【未来久】 | 警方提醒:赣州约炮论坛真的安全吗?2025年新手必看的网络交友防坑指南 | NMRV减速机|铝合金减速机|蜗轮蜗杆减速机|NMRV减速机厂家-东莞市台机减速机有限公司 | 河南空气能热水器-洛阳空气能采暖-洛阳太阳能热水工程-洛阳润达高科空气能商行 | 粉末冶金注射成型厂家|MIM厂家|粉末冶金齿轮|MIM零件-深圳市新泰兴精密科技 | 双工位钻铣攻牙机-转换工作台钻攻中心-钻铣攻牙机一体机-浙江利硕自动化设备有限公司 | 水轮机密封网 | 水轮机密封产品研发生产厂家 | 我爱古诗词_古诗词名句赏析学习平台 | 北京企业宣传片拍摄_公司宣传片制作-广告短视频制作_北京宣传片拍摄公司 | 深圳宣传片制作-企业宣传视频制作-产品视频拍摄-产品动画制作-短视频拍摄制作公司 |