电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python scrapy簡單模擬登錄的代碼分析

瀏覽:135日期:2022-06-14 18:21:16

1、requests模塊。直接攜帶cookies請求頁面。

找到url,發送post請求存儲cookie。

2、selenium(瀏覽器自動處理cookie)。

找到相應的input標簽,輸入文本,點擊登錄。

3、scrapy直接帶cookies。

找到url,發送post請求存儲cookie。

# -*- coding: utf-8 -*-import scrapyimport re class GithubLoginSpider(scrapy.Spider): name = ’github_login’ allowed_domains = [’github.com’] start_urls = [’https://github.com/login’] def parse(self, response): # 發送Post請求獲取Cookiesauthenticity_token = response.xpath(’//input[@name='authenticity_token']/@value’).extract_first()utf8 = response.xpath(’//input[@name='utf8']/@value’).extract_first()commit = response.xpath(’//input[@name='commit']/@value’).extract_first()form_data = { ’login’: ’pengjunlee@163.com’, ’password’: ’123456’, ’webauthn-support’: ’supported’, ’authenticity_token’: authenticity_token, ’utf8’: utf8, ’commit’: commit}yield scrapy.FormRequest('https://github.com/session', formdata=form_data, callback=self.after_login) def after_login(self, response): # 驗證是否請求成功print(re.findall(’Learn Git and GitHub without any code!’, response.body.decode()))

知識點擴展:

parse_login方法是提交完表單后callback回調函數指定要執行的方法,為了驗證是否成功。這里我們直接在response中搜索Welcome Liu這個字眼就證明登錄成功。

這個好理解,重點是yield from super().start_resquests(),這個代表著如果一旦登錄成功后,就直接帶著登錄成功后Cookie值,方法start_urls里面的地址。

這樣的話登錄成功后的response可以直接在parse里面寫。

# -*- coding: utf-8 -*-import scrapyfrom scrapy import FormRequest,Requestclass ExampleLoginSpider(scrapy.Spider): name = 'login_' allowed_domains = ['example.webscraping.com'] start_urls = [’http://example.webscraping.com/user/profile’] login_url = ’http://example.webscraping.com/places/default/user/login’ def parse(self, response):print(response.text) def start_requests(self):yield scrapy.Request(self.login_url,callback=self.login) def login(self,response):formdata = { ’email’:’liushuo@webscraping.com’,’password’:’12345678’}yield FormRequest.from_response(response,formdata=formdata,callback=self.parse_login) def parse_login(self,response):# print(’>>>>>>>>’+response.text)if ’Welcome Liu’ in response.text: yield from super().start_requests()

到此這篇關于python scrapy簡單模擬登錄的代碼分析的文章就介紹到這了,更多相關python scrapy模擬登錄的方法內容請搜索好吧啦網以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持好吧啦網!

標簽: python scrapy requests
主站蜘蛛池模板: 真空粉体取样阀,电动楔式闸阀,电动针型阀-耐苛尔(上海)自动化仪表有限公司 | 地图标注|微信高德百度地图标注|地图标记-做地图[ZuoMap.com] | 颗粒机,颗粒机组,木屑颗粒机-济南劲能机械有限公司 | 温室大棚建设|水肥一体化|物联网系统 | 好物生环保网、环保论坛 - 环保人的学习交流平台 | 玻璃钢罐_玻璃钢储罐_盐酸罐厂家-河北华盛节能设备有限公司 | 圆盘鞋底注塑机_连帮鞋底成型注塑机-温州天钢机械有限公司 | 贵州科比特-防雷公司厂家提供贵州防雷工程,防雷检测,防雷接地,防雷设备价格,防雷产品报价服务-贵州防雷检测公司 | 【甲方装饰】合肥工装公司-合肥装修设计公司,专业从事安徽办公室、店面、售楼部、餐饮店、厂房装修设计服务 | 艾默生变频器,艾默生ct,变频器,ct驱动器,广州艾默生变频器,供水专用变频器,风机变频器,电梯变频器,艾默生变频器代理-广州市盟雄贸易有限公司官方网站-艾默生变频器应用解决方案服务商 | 胜为光纤光缆_光纤跳线_单模尾纤_光纤收发器_ODF光纤配线架厂家直销_北京睿创胜为科技有限公司 - 北京睿创胜为科技有限公司 | 变位机,焊接变位机,焊接变位器,小型变位机,小型焊接变位机-济南上弘机电设备有限公司 | 德国UST优斯特氢气检漏仪-德国舒赐乙烷检测仪-北京泽钏 | 今日娱乐圈——影视剧集_八卦娱乐_明星八卦_最新娱乐八卦新闻 | 真空搅拌机-行星搅拌机-双行星动力混合机-广州市番禺区源创化工设备厂 | 座椅式升降机_无障碍升降平台_残疾人升降平台-南京明顺机械设备有限公司 | 【直乐】河北石家庄脊柱侧弯医院_治疗椎间盘突出哪家医院好_骨科脊柱外科专业医院_治疗抽动症/关节病骨伤权威医院|排行-直乐矫形中医医院 | 吲哚菁绿衍生物-酶底物法大肠菌群检测试剂-北京和信同通科技发展有限公司 | 棉柔巾代加工_洗脸巾oem_一次性毛巾_浴巾生产厂家-杭州禾壹卫品科技有限公司 | pos机办理,智能/扫码/二维码/微信支付宝pos机-北京万汇通宝商贸有限公司 | PE一体化污水处理设备_地埋式生活污水净化槽定制厂家-岩康塑业 | 水冷式工业冷水机组_风冷式工业冷水机_水冷螺杆冷冻机组-深圳市普威机械设备有限公司 | 郑州墨香品牌设计公司|品牌全案VI设计公司 | 产业规划_产业园区规划-产业投资选址及规划招商托管一体化服务商-中机院产业园区规划网 | 珠海网站建设_响应网站建设_珠海建站公司_珠海网站设计与制作_珠海网讯互联 | 利浦顿蒸汽发生器厂家-电蒸汽发生器/燃气蒸汽发生器_湖北利浦顿热能科技有限公司官网 | 信阳网站建设专家-信阳时代网联-【信阳网站建设百度推广优质服务提供商】信阳网站建设|信阳网络公司|信阳网络营销推广 | 船用烟火信号弹-CCS防汛救生圈-船用救生抛绳器(海威救生设备) | 六维力传感器_三维力传感器_二维力传感器-南京神源生智能科技有限公司 | 致胜管家软件服务【在线免费体验】 | 拉伸膜,PE缠绕膜,打包带,封箱胶带,包装膜厂家-东莞宏展包装 | 干粉砂浆设备_干混砂浆生产线_腻子粉加工设备_石膏抹灰砂浆生产成套设备厂家_干粉混合设备_砂子烘干机--郑州铭将机械设备有限公司 | 成都顶呱呱信息技术有限公司-贷款_个人贷款_银行贷款在线申请 - 成都贷款公司 | 整合营销推广|营销网络推广公司|石家庄网站优化推广公司|智营销 好物生环保网、环保论坛 - 环保人的学习交流平台 | 深圳品牌设计公司-LOGO设计公司-VI设计公司-未壳创意 | Safety light curtain|Belt Sway Switches|Pull Rope Switch|ultrasonic flaw detector-Shandong Zhuoxin Machinery Co., Ltd | 工业冷却塔维修厂家_方形不锈钢工业凉水塔维修改造方案-广东康明节能空调有限公司 | 一体化污水处理设备_生活污水处理设备_全自动加药装置厂家-明基环保 | 百度爱采购运营研究社社群-店铺托管-爱采购代运营-良言多米网络公司 | 手机存放柜,超市储物柜,电子储物柜,自动寄存柜,行李寄存柜,自动存包柜,条码存包柜-上海天琪实业有限公司 | 二维运动混料机,加热型混料机,干粉混料机-南京腾阳干燥设备厂 |