电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

解決python存數據庫速度太慢的問題

瀏覽:2日期:2022-06-23 10:40:39
問題

在項目中遇到一個問題,需要從文本中讀取三萬條數據寫入mysql數據庫,文件中為用@分割的sql語句,但是在讀取的過程中發現速度過慢,三萬八千條數據需要220秒,問題代碼片段如下:

def read_to_mysql(filecata, targetDir): ’’’ 用來寫入數據庫,寫入后會剪貼掉文件 filecata 為保存有文件地址的list,已去掉尾部的空格 :param filecata: 文件目錄 :param targetDir: 要復制的目標目錄 :return: ’’’ root_dir = os.path.abspath(os.path.join(os.getcwd(), './')) config = configparser.ConfigParser() config.read(root_dir + '/config.ini') __host = config.get('DatabaseOfWRT', 'host') __database_name = config.get('DatabaseOfWRT', 'database') __user_name = config.get('DatabaseOfWRT', 'username') __user_passwaord = config.get('DatabaseOfWRT', 'password') __charset = config.get('DatabaseOfWRT', 'charset') conn = pymysql.connect( host=__host, user=__user_name, password=__user_passwaord, database=__database_name, charset=__charset ) cursor = conn.cursor() with open(filecata, 'r', encoding=’utf-8’) as f: data = f.read() # 讀取文件 data_list = data.split(’@’) del data_list[-1] starttime = int(time.time()) for data_str in data_list: data_str = str(data_str) sql = data_str + ’;’ cursor.execute(sql) conn.commit() print(flag) copy_del_file(filecata, targetDir) # 用來剪切的函數,此處不影響,因而省略 cursor.close() conn.close()解決方案

經測試發現,影響速度的主要原因是commit(),因為沒過幾秒提交一次即可,但是因為提交的字符長度有限制,所以要設置一個合理的時間讀取,代碼修改如下:

def read_to_mysql(filecata, targetDir): ’’’ 用來寫入數據庫,寫入后會剪貼掉文件 filecata 為保存有文件地址的list,已去掉尾部的空格 :param filecata: :param targetDir: 要復制的目標目錄 :return: ’’’ root_dir = os.path.abspath(os.path.join(os.getcwd(), './')) config = configparser.ConfigParser() config.read(root_dir + '/config.ini') __host = config.get('DatabaseOfWRT', 'host') __database_name = config.get('DatabaseOfWRT', 'database') __user_name = config.get('DatabaseOfWRT', 'username') __user_passwaord = config.get('DatabaseOfWRT', 'password') __charset = config.get('DatabaseOfWRT', 'charset') conn = pymysql.connect( host=__host, user=__user_name, password=__user_passwaord, database=__database_name, charset=__charset ) cursor = conn.cursor() with open(filecata, 'r', encoding=’utf-8’) as f: data = f.read() # 讀取文件 data_list = data.split(’@’) del data_list[-1] starttime = int(time.time()) for data_str in data_list: endtime = int(time.time()) data_str = str(data_str) sql = data_str + ’;’ cursor.execute(sql) if endtime - starttime ==10: # 每過十秒提交一次 starttime = int(time.time()) conn.commit() conn.commit() copy_del_file(filecata, targetDir) cursor.close() conn.close() return flag

此時寫入三萬八千條數據需要9秒

補充:python 連數據庫cursur.fetchall ()速度慢的解決方案

解決游標遍歷慢的方法:

一行一行去遍歷,而不是一下全部讀取出來

將cursur.fetchall()更改為for i in cursur:

補充:python 讀取文件時速度的問題

'''舉例 讀取文件'''# 第一種方式with open(’test.txt’, ’r’, encoding=’utf-8’) as f: info = f.readlines() for line in info: pass# 第二種方式with open(’test.txt’, ’r’, encoding=’utf-8’) as f: for line in f: pass

對于以上兩種方式讀取文件,各自有各自的用途,當用兩種方式都可以時,第二種方式的效率是第一種的幾個量級, readlines()將文件內容讀取到內存的list中,操作雖然方便,但是消耗內存,運行效率慢。

原生的f是將文件內容讀到生成器中, 當需要操作時,從生成器中循環出來,速度很快,操作大文件時建議用第二種方式!

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 减速机_上海宜嘉减速机| 实验室pH计|电导率仪|溶解氧测定仪|离子浓度计|多参数水质分析仪|pH电极-上海般特仪器有限公司 | 袋式过滤器,自清洗过滤器,保安过滤器,篮式过滤器,气体过滤器,全自动过滤器,反冲洗过滤器,管道过滤器,无锡驰业环保科技有限公司 | 宿松新闻网 宿松网|宿松在线|宿松门户|安徽宿松(直管县)|宿松新闻综合网站|宿松官方新闻发布 | 工业废水处理|污水处理厂|废水治理设备工程技术公司-苏州瑞美迪 今日娱乐圈——影视剧集_八卦娱乐_明星八卦_最新娱乐八卦新闻 | PSI渗透压仪,TPS酸度计,美国CHAI PCR仪,渗透压仪厂家_价格,微生物快速检测仪-华泰和合(北京)商贸有限公司 | 首页-瓜尔胶系列-化工单体系列-油田压裂助剂-瓜尔胶厂家-山东广浦生物科技有限公司 | 膜结构停车棚-自行车棚-膜结构汽车棚加工安装厂家幸福膜结构 | 清管器,管道清管器,聚氨酯发泡球,清管球 - 承德嘉拓设备 | 化工ERP软件_化工新材料ERP系统_化工新材料MES软件_MES系统-广东顺景软件科技有限公司 | Honsberg流量计-Greisinger真空表-气压计-上海欧臻机电设备有限公司 | 深圳湾1号房价_深圳湾1号二手房源 | 板框压滤机-隔膜压滤机配件生产厂家-陕西华星佳洋装备制造有限公司 | 冷凝水循环试验箱-冷凝水试验箱-可编程高低温试验箱厂家-上海巨为(www.juweigroup.com) | 企业微信营销_企业微信服务商_私域流量运营_艾客SCRM官网 | 塑料检查井_双扣聚氯乙烯增强管_双壁波纹管-河南中盈塑料制品有限公司 | 皮带输送机-大倾角皮带输送机-皮带输送机厂家-河南坤威机械 | 洗石机-移动滚筒式,振动,螺旋,洗矿机-青州冠诚重工机械有限公司 | 一体化预制泵站-一体化提升泵站-一体化泵站厂家-山东康威环保 | 消防设施操作员考试报名时间,报名入口,报考条件 | 中央空调温控器_风机盘管温控器_智能_液晶_三速开关面板-中央空调温控器厂家 | 论文查重_免费论文查重_知网学术不端论文查重检测系统入口_论文查重软件 | 卡诺亚轻高定官网_卧室系统_整家定制_定制家居_高端定制_全屋定制加盟_定制家具加盟_定制衣柜加盟 | 大学食堂装修设计_公司餐厅效果图_工厂食堂改造_迈普装饰 | 吊篮式|移动式冷热冲击试验箱-二槽冷热冲击试验箱-广东科宝 | 航空障碍灯_高中低光强航空障碍灯_民航许可认证航空警示灯厂家-东莞市天翔航天科技有限公司 | 贵阳用友软件,贵州财务软件,贵阳ERP软件_贵州优智信息技术有限公司 | 专业广州网站建设,微信小程序开发,一物一码和NFC应用开发、物联网、外贸商城、定制系统和APP开发【致茂网络】 | 山东活动策划|济南活动公司|济南公关活动策划-济南锐嘉广告有限公司 | 河南mpp电力管_mpp电力管生产厂家_mpp电力电缆保护管价格 - 河南晨翀实业 | 山东彩钢板房,山东彩钢活动房,临沂彩钢房-临沂市贵通钢结构工程有限公司 | 塑木弯曲试验机_铜带拉伸强度试验机_拉压力测试台-倾技百科 | 京港视通报道-质量走进大江南北-京港视通传媒[北京]有限公司 | 机床主轴维修|刀塔维修|C轴维修-常州翔高精密机械有限公司 | ALC墙板_ALC轻质隔墙板_隔音防火墙板_轻质隔墙材料-湖北博悦佳 | 外观设计_设备外观设计_外观设计公司_产品外观设计_机械设备外观设计_东莞工业设计公司-意品深蓝 | 北京网站建设公司_北京网站制作公司_北京网站设计公司-北京爱品特网站建站公司 | 陶瓷加热器,履带式加热器-吴江市兴达电热设备厂 | ◆大型吹塑加工|吹塑加工|吹塑代加工|吹塑加工厂|吹塑设备|滚塑加工|滚塑代加工-莱力奇塑业有限公司 | WTB5光栅尺-JIE WILL磁栅尺-B60数显表-常州中崴机电科技有限公司 | 超声波焊接机_超音波熔接机_超声波塑焊机十大品牌_塑料超声波焊接设备厂家 |