电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

python 爬取吉首大學網站成績單

瀏覽:16日期:2022-06-17 17:34:05
目錄項目地址:環境配置及使用結果展示完整代碼項目地址:

https://github.com/chen0495/pythonCrawlerForJSU

環境 python 3.5即以上 request、BeautifulSoup、numpy、pandas. 安裝BeautifulSoup使用命令pip install BeautifulSoup4配置及使用

登陸學校成績單查詢網站,修改cookie.

python 爬取吉首大學網站成績單

按F12后按Ctrl+R刷新一下,獲取cookie的方法見下圖:

python 爬取吉首大學網站成績單

修改爬蟲url為自己的成績單網址.

python 爬取吉首大學網站成績單

運行src/main.py文件即可在/result下得到csv文件.

結果展示

python 爬取吉首大學網站成績單

完整代碼

# -*- coding: utf-8 -*-# @Time : 5/29/2021 2:13 PM# @Author : Chen0495# @Email : 1346565673@qq.com|chenweiin612@gmail.com# @File : main.py# @Software: PyCharmimport requests as rqfrom bs4 import BeautifulSoup as BSimport numpy as npimport pandas as pdrq.adapters.DEFAULT_RETRIES = 5s = rq.session()s.keep_alive = False # 關閉多余連接header = { # 請更改cookie ’user-agent’ : ’Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4501.0 Safari/537.36 Edg/92.0.891.1’, ’cookie’ : ’wengine_vpn_ticketwebvpn_jsu_edu_cn=xxxxxxxxxx; show_vpn=1; refresh=1’}# 請更改urlr = rq.get(’https://webvpn.jsu.edu.cn/https/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx/jsxsd/kscj/cjcx_list’, headers = header, verify=False)soup = BS(r.text,’html.parser’)head = []for th in soup.find_all('th'): head.append(th.text)while ’’ in head: head.remove(’’)head.remove(’序號’)context = np.array(head)x = []flag = 0for td in soup.find_all('td'): if flag!=0 and flag%11!=1:x.append(td.text) if flag%11==0 and flag!=0:context = np.row_stack((context,np.array(x)))x.clear() flag+=1context = np.delete(context,0,axis=0)data = pd.DataFrame(context,columns=head)print(data)# 生成文件,親更改文件名data.to_csv(’../result/result.csv’,encoding=’utf-8-sig’)

以上就是python 爬取吉首大學成績單的詳細內容,更多關于python 爬取成績單的資料請關注好吧啦網其它相關文章!

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 河南彩印编织袋,郑州饲料编织袋定制,肥料编织袋加工厂-盛军塑业 河南凯邦机械制造有限公司 | 激光内雕_led玻璃_发光玻璃_内雕玻璃_导光玻璃-石家庄明晨三维科技有限公司 激光内雕-内雕玻璃-发光玻璃 | 水质监测站_水质在线分析仪_水质自动监测系统_多参数水质在线监测仪_水质传感器-山东万象环境科技有限公司 | 广州监控安装公司_远程监控_安防弱电工程_无线wifi覆盖_泉威安防科技 | 高通量组织研磨仪-多样品组织研磨仪-全自动组织研磨仪-研磨者科技(广州)有限公司 | 协议书_协议合同格式模板范本大全| 医学模型生产厂家-显微手术模拟训练器-仿真手术模拟训练系统-北京医教科技 | 沈阳真空机_沈阳真空包装机_沈阳大米真空包装机-沈阳海鹞真空包装机械有限公司 | 鄂泉泵业官网|(杭州、上海、全国畅销)大流量防汛排涝泵-LW立式排污泵 | 电采暖锅炉_超低温空气源热泵_空气源热水器-鑫鲁禹电锅炉空气能热泵厂家 | 上海平衡机-单面卧式动平衡机-万向节动平衡机-圈带动平衡机厂家-上海申岢动平衡机制造有限公司 | 数显恒温油浴-电砂浴-高温油浴振荡器-常州迈科诺仪器有限公司 | 中国品牌排名投票_十大品牌榜单_中国著名品牌【中国品牌榜】 | 水稻烘干机,小麦烘干机,大豆烘干机,玉米烘干机,粮食烘干机_巩义市锦华粮食烘干机械制造有限公司 水环真空泵厂家,2bv真空泵,2be真空泵-淄博真空设备厂 | 湖南自考_湖南自学考试| 汽车润滑油厂家-机油/润滑油代理-高性能机油-领驰慧润滑科技(河北)有限公司 | 成都竞价托管_抖音代运营_网站建设_成都SEM外包-成都智网创联网络科技有限公司 | 污水提升器,污水提升泵,地下室排水,增压泵,雨水泵,智能供排水控制器-上海智流泵业有限公司 | 安徽合肥格力空调专卖店_格力中央空调_格力空调总经销公司代理-皖格制冷设备 | 哲力实业_专注汽车涂料汽车漆研发生产_汽车漆|修补油漆品牌厂家 长沙一级消防工程公司_智能化弱电_机电安装_亮化工程专业施工承包_湖南公共安全工程有限公司 | 工业rfid读写器_RFID工业读写器_工业rfid设备厂商-ANDEAWELL | 十字轴_十字轴万向节_十字轴总成-南京万传机械有限公司 | 深圳美安可自动化设备有限公司,喷码机,定制喷码机,二维码喷码机,深圳喷码机,纸箱喷码机,东莞喷码机 UV喷码机,日期喷码机,鸡蛋喷码机,管芯喷码机,管内壁喷码机,喷码机厂家 | 滚筒烘干机_转筒烘干机_滚筒干燥机_转筒干燥机_回转烘干机_回转干燥机-设备生产厂家 | 杭州翻译公司_驾照翻译_专业人工翻译-杭州以琳翻译有限公司官网 组织研磨机-高通量组织研磨仪-实验室多样品组织研磨机-东方天净 | ge超声波测厚仪-电动涂膜机-电动划格仪-上海洪富 | 通风气楼_通风天窗_屋顶风机-山东美创通风设备有限公司 | 回收二手冲床_金丰旧冲床回收_协易冲床回收 - 大鑫机械设备 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 可程式恒温恒湿试验箱|恒温恒湿箱|恒温恒湿试验箱|恒温恒湿老化试验箱|高低温试验箱价格报价-广东德瑞检测设备有限公司 | 铝合金电阻-无源谐波滤波器-上海稳达电讯设备厂 | 代理记账_免费注册公司_营业执照代办_资质代办-【乐财汇】 | 金属切削液-脱水防锈油-电火花机油-抗磨液压油-深圳市雨辰宏业科技发展有限公司 | 柔软云母板-硬质-水位计云母片组件-首页-武汉长丰云母绝缘材料有限公司 | 煤矿人员精确定位系统_矿用无线通信系统_煤矿广播系统 | jrs高清nba(无插件)直播-jrs直播低调看直播-jrs直播nba-jrs直播 上海地磅秤|电子地上衡|防爆地磅_上海地磅秤厂家–越衡称重 | 黄石东方妇产医院_黄石妇科医院哪家好_黄石无痛人流医院 | 电动葫芦|防爆钢丝绳电动葫芦|手拉葫芦-保定大力起重葫芦有限公司 | 釜溪印象网络 - Powered by Discuz! | 大_小鼠elisa试剂盒-植物_人Elisa试剂盒-PCR荧光定量试剂盒-上海一研生物科技有限公司 | 化妆品加工厂-化妆品加工-化妆品代加工-面膜加工-广东欧泉生化科技有限公司 |