电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

python 爬取吉首大學(xué)網(wǎng)站成績單

瀏覽:14日期:2022-06-17 17:34:05
目錄項目地址:環(huán)境配置及使用結(jié)果展示完整代碼項目地址:

https://github.com/chen0495/pythonCrawlerForJSU

環(huán)境 python 3.5即以上 request、BeautifulSoup、numpy、pandas. 安裝BeautifulSoup使用命令pip install BeautifulSoup4配置及使用

登陸學(xué)校成績單查詢網(wǎng)站,修改cookie.

python 爬取吉首大學(xué)網(wǎng)站成績單

按F12后按Ctrl+R刷新一下,獲取cookie的方法見下圖:

python 爬取吉首大學(xué)網(wǎng)站成績單

修改爬蟲url為自己的成績單網(wǎng)址.

python 爬取吉首大學(xué)網(wǎng)站成績單

運行src/main.py文件即可在/result下得到csv文件.

結(jié)果展示

python 爬取吉首大學(xué)網(wǎng)站成績單

完整代碼

# -*- coding: utf-8 -*-# @Time : 5/29/2021 2:13 PM# @Author : Chen0495# @Email : 1346565673@qq.com|chenweiin612@gmail.com# @File : main.py# @Software: PyCharmimport requests as rqfrom bs4 import BeautifulSoup as BSimport numpy as npimport pandas as pdrq.adapters.DEFAULT_RETRIES = 5s = rq.session()s.keep_alive = False # 關(guān)閉多余連接header = { # 請更改cookie ’user-agent’ : ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4501.0 Safari/537.36 Edg/92.0.891.1’, ’cookie’ : ’wengine_vpn_ticketwebvpn_jsu_edu_cn=xxxxxxxxxx; show_vpn=1; refresh=1’}# 請更改urlr = rq.get(’https://webvpn.jsu.edu.cn/https/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/jsxsd/kscj/cjcx_list’, headers = header, verify=False)soup = BS(r.text,’html.parser’)head = []for th in soup.find_all('th'): head.append(th.text)while ’’ in head: head.remove(’’)head.remove(’序號’)context = np.array(head)x = []flag = 0for td in soup.find_all('td'): if flag!=0 and flag%11!=1:x.append(td.text) if flag%11==0 and flag!=0:context = np.row_stack((context,np.array(x)))x.clear() flag+=1context = np.delete(context,0,axis=0)data = pd.DataFrame(context,columns=head)print(data)# 生成文件,親更改文件名data.to_csv(’../result/result.csv’,encoding=’utf-8-sig’)

以上就是python 爬取吉首大學(xué)成績單的詳細(xì)內(nèi)容,更多關(guān)于python 爬取成績單的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 奥运星-汽车性能网评-提供个性化汽车资讯 | 西门子代理商_西门子变频器总代理-翰粤百科 | 电机铸铝配件_汽车压铸铝合金件_发动机压铸件_青岛颖圣赫机械有限公司 | 谷梁科技| 信阳网站建设专家-信阳时代网联-【信阳网站建设百度推广优质服务提供商】信阳网站建设|信阳网络公司|信阳网络营销推广 | PTFE接头|聚四氟乙烯螺丝|阀门|薄膜|消解罐|聚四氟乙烯球-嘉兴市方圆氟塑制品有限公司 | 通风气楼_通风天窗_屋顶风机-山东美创通风设备有限公司 | 3d打印服务,3d打印汽车,三维扫描,硅胶复模,手板,快速模具,深圳市精速三维打印科技有限公司 | 3d可视化建模_三维展示_产品3d互动数字营销_三维动画制作_3D虚拟商城 【商迪3D】三维展示服务商 广东健伦体育发展有限公司-体育工程配套及销售运动器材的体育用品服务商 | 成都离婚律师|成都结婚律师|成都离婚财产分割律师|成都律师-成都离婚律师网 | 可程式恒温恒湿试验箱|恒温恒湿箱|恒温恒湿试验箱|恒温恒湿老化试验箱|高低温试验箱价格报价-广东德瑞检测设备有限公司 | 精益专家 - 设备管理软件|HSE管理系统|设备管理系统|EHS安全管理系统 | 衬氟止回阀_衬氟闸阀_衬氟三通球阀_衬四氟阀门_衬氟阀门厂-浙江利尔多阀门有限公司 | 校服厂家,英伦校服定做工厂,园服生产定制厂商-东莞市艾咪天使校服 | 聚合氯化铝厂家-聚合氯化铝铁价格-河南洁康环保科技 | 杭州双螺杆挤出机-百科| 东莞市天进机械有限公司-钉箱机-粘箱机-糊箱机-打钉机认准东莞天进机械-厂家直供更放心! | 优秀的临床医学知识库,临床知识库,医疗知识库,满足电子病历四级要求,免费试用 | 精密模具加工制造 - 富东懿| 蜘蛛车-登高车-高空作业平台-高空作业车-曲臂剪叉式升降机租赁-重庆海克斯公司 | 岛津二手液相色谱仪,岛津10A液相,安捷伦二手液相,安捷伦1100液相-杭州森尼欧科学仪器有限公司 | 沈阳建筑设计公司_加固改造设计_厂房设计_设计资质加盟【金辉设计】 | 硅PU球场、篮球场地面施工「水性、环保、弹性」硅PU材料生产厂家-广东中星体育公司 | 常州减速机_减速机厂家_常州市减速机厂有限公司| 电解抛光加工_不锈钢电解抛光_常州安谱金属制品有限公司 | 河南正规膏药生产厂家-膏药贴牌-膏药代加工-修康药业集团官网 | 深圳市宏康仪器科技有限公司-模拟高空低压试验箱-高温防爆试验箱-温控短路试验箱【官网】 | 智能垃圾箱|垃圾房|垃圾分类亭|垃圾分类箱专业生产厂家定做-宿迁市传宇环保设备有限公司 | 炒货机-炒菜机-炒酱机-炒米机@霍氏机械 | 纯水电导率测定仪-万用气体检测仪-低钠测定仪-米沃奇科技(北京)有限公司www.milwaukeeinst.cn 锂辉石检测仪器,水泥成分快速分析仪-湘潭宇科分析仪器有限公司 手术室净化装修-手术室净化工程公司-华锐手术室净化厂家 | 祝融环境-地源热泵多恒系统高新技术企业,舒适生活环境缔造者! | PAS糖原染色-CBA流式多因子-明胶酶谱MMP-上海研谨生物科技有限公司 | 铝合金脚手架厂家-专注高空作业平台-深圳腾达安全科技 | 糖衣机,除尘式糖衣机,全自动糖衣机,泰州市长江制药机械有限公司 体感VRAR全息沉浸式3D投影多媒体展厅展会游戏互动-万展互动 | 特种电缆厂家-硅橡胶耐高温电缆-耐低温补偿导线-安徽万邦特种电缆有限公司 | 直流电能表-充电桩电能表-导轨式电能表-智能电能表-浙江科为电气有限公司 | 金蝶帐无忧|云代账软件|智能财税软件|会计代账公司专用软件 | 安平县鑫川金属丝网制品有限公司,防风抑尘网,单峰防风抑尘,不锈钢防风抑尘网,铝板防风抑尘网,镀铝锌防风抑尘网 | 铣刨料沥青破碎机-沥青再生料设备-RAP热再生混合料破碎筛分设备 -江苏锡宝重工 | 澳威全屋定制官网|极简衣柜十大品牌|衣柜加盟代理|全屋定制招商 百度爱采购运营研究社社群-店铺托管-爱采购代运营-良言多米网络公司 | 健康管理师报名入口,2025年健康管理师考试时间信息网-网站首页 塑料造粒机「厂家直销」-莱州鑫瑞迪机械有限公司 |