电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python scrapy簡單模擬登錄的代碼分析

瀏覽:134日期:2022-06-14 18:21:16

1、requests模塊。直接攜帶cookies請求頁面。

找到url,發送post請求存儲cookie。

2、selenium(瀏覽器自動處理cookie)。

找到相應的input標簽,輸入文本,點擊登錄。

3、scrapy直接帶cookies。

找到url,發送post請求存儲cookie。

# -*- coding: utf-8 -*-import scrapyimport re class GithubLoginSpider(scrapy.Spider): name = ’github_login’ allowed_domains = [’github.com’] start_urls = [’https://github.com/login’] def parse(self, response): # 發送Post請求獲取Cookiesauthenticity_token = response.xpath(’//input[@name='authenticity_token']/@value’).extract_first()utf8 = response.xpath(’//input[@name='utf8']/@value’).extract_first()commit = response.xpath(’//input[@name='commit']/@value’).extract_first()form_data = { ’login’: ’pengjunlee@163.com’, ’password’: ’123456’, ’webauthn-support’: ’supported’, ’authenticity_token’: authenticity_token, ’utf8’: utf8, ’commit’: commit}yield scrapy.FormRequest('https://github.com/session', formdata=form_data, callback=self.after_login) def after_login(self, response): # 驗證是否請求成功print(re.findall(’Learn Git and GitHub without any code!’, response.body.decode()))

知識點擴展:

parse_login方法是提交完表單后callback回調函數指定要執行的方法,為了驗證是否成功。這里我們直接在response中搜索Welcome Liu這個字眼就證明登錄成功。

這個好理解,重點是yield from super().start_resquests(),這個代表著如果一旦登錄成功后,就直接帶著登錄成功后Cookie值,方法start_urls里面的地址。

這樣的話登錄成功后的response可以直接在parse里面寫。

# -*- coding: utf-8 -*-import scrapyfrom scrapy import FormRequest,Requestclass ExampleLoginSpider(scrapy.Spider): name = 'login_' allowed_domains = ['example.webscraping.com'] start_urls = [’http://example.webscraping.com/user/profile’] login_url = ’http://example.webscraping.com/places/default/user/login’ def parse(self, response):print(response.text) def start_requests(self):yield scrapy.Request(self.login_url,callback=self.login) def login(self,response):formdata = { ’email’:’liushuo@webscraping.com’,’password’:’12345678’}yield FormRequest.from_response(response,formdata=formdata,callback=self.parse_login) def parse_login(self,response):# print(’>>>>>>>>’+response.text)if ’Welcome Liu’ in response.text: yield from super().start_requests()

到此這篇關于python scrapy簡單模擬登錄的代碼分析的文章就介紹到這了,更多相關python scrapy模擬登錄的方法內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: python scrapy requests
主站蜘蛛池模板: 内六角扳手「厂家」-温州市威豪五金工具有限公司 | 喷砂机厂家_自动喷砂机生产_新瑞自动化喷砂除锈设备 | 长沙广告公司|长沙广告制作设计|长沙led灯箱招牌制作找望城湖南锦蓝广告装饰工程有限公司 | 油罐车_加油机_加油卷盘_加油机卷盘_罐车人孔盖_各类球阀_海底阀等车用配件厂家-湖北华特专用设备有限公司 | 专业甜品培训学校_广东糖水培训_奶茶培训_特色小吃培训_广州烘趣甜品培训机构 | 仿古瓦,仿古金属瓦,铝瓦,铜瓦,铝合金瓦-西安东申景观艺术工程有限公司 | 酶联免疫分析仪-多管旋涡混合仪|混合器-莱普特科学仪器(北京)有限公司 | 北京晚会活动策划|北京节目录制后期剪辑|北京演播厅出租租赁-北京龙视星光文化传媒有限公司 | bkzzy在职研究生网 - 在职研究生招生信息咨询平台 | 淋巴细胞分离液_口腔医疗器材-精欣华医疗器械(无锡)有限公司 | 扬州汇丰仪表有限公司 | 智能电表|预付费ic卡水电表|nb智能无线远传载波电表-福建百悦信息科技有限公司 | 免费个人pos机申请办理-移动pos机刷卡-聚合收款码办理 | 有机肥设备生产制造厂家,BB掺混肥搅拌机、复合肥设备生产线,有机肥料全部加工设备多少钱,对辊挤压造粒机,有机肥造粒设备 -- 郑州程翔重工机械有限公司 | 螺旋压榨机-刮泥机-潜水搅拌机-电动泥斗-潜水推流器-南京格林兰环保设备有限公司 | 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | 绿叶|绿叶投资|健康产业_绿叶投资集团有限公司 | 雾度仪_雾度计_透光率雾度仪价格-三恩时(3nh)光电雾度仪厂家 | 煤棒机_增碳剂颗粒机_活性炭颗粒机_木炭粉成型机-巩义市老城振华机械厂 | 点胶机_点胶阀_自动点胶机_智能点胶机_喷胶机_点胶机厂家【欧力克斯】 | 橡胶接头_橡胶软接头_可曲挠橡胶接头-巩义市创伟机械制造有限公司 | 沈飞防静电地板__机房地板-深圳市沈飞防静电设备有限公司 | 流水线电子称-钰恒-上下限报警电子秤-上海宿衡实业有限公司 | 十字轴_十字轴万向节_十字轴总成-南京万传机械有限公司 | 艾默生变频器,艾默生ct,变频器,ct驱动器,广州艾默生变频器,供水专用变频器,风机变频器,电梯变频器,艾默生变频器代理-广州市盟雄贸易有限公司官方网站-艾默生变频器应用解决方案服务商 | 阳光模拟试验箱_高低温试验箱_高低温冲击试验箱_快速温变试验箱|东莞市赛思检测设备有限公司 | 厂房出售_厂房仓库出租_写字楼招租_土地出售-中苣招商网-中苣招商网 | SF6环境监测系统-接地环流在线监测装置-瑟恩实业 | 硬齿面减速机[型号全],ZQ减速机-淄博久增机械 | 脉冲布袋除尘器_除尘布袋-泊头市净化除尘设备生产厂家 | 压力喷雾干燥机,喷雾干燥设备,柱塞隔膜泵-无锡市闻华干燥设备有限公司 | 胜为光纤光缆_光纤跳线_单模尾纤_光纤收发器_ODF光纤配线架厂家直销_北京睿创胜为科技有限公司 - 北京睿创胜为科技有限公司 | 溶氧传感器-pH传感器|哈美顿(hamilton) | 搪玻璃冷凝器_厂家-越宏化工设备 | 电伴热系统施工_仪表电伴热保温箱厂家_沃安电伴热管缆工业技术(济南)有限公司 | 飞歌臭氧发生器厂家_水处理臭氧发生器_十大臭氧消毒机品牌 | 工业用品一站式采购平台|南创工品汇-官网|广州南创 | 安徽净化板_合肥岩棉板厂家_玻镁板厂家_安徽科艺美洁净科技有限公司 | 耐力板-PC阳光板-PC板-PC耐力板 - 嘉兴赢创实业有限公司 | 胶原检测试剂盒,弹性蛋白检测试剂盒,类克ELISA试剂盒,阿达木单抗ELISA试剂盒-北京群晓科苑生物技术有限公司 | 深圳市万色印象美业有限公司 |