电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟

瀏覽:3日期:2023-10-02 15:37:18
目錄前期準(zhǔn)備實(shí)現(xiàn)方法:1、單條數(shù)據(jù)插入2、合并數(shù)據(jù)插入3、MySqlBulkLoader插入性能測試對(duì)比最后前期準(zhǔn)備

訂單測試表

CREATE TABLE `trade` ( `id` VARCHAR(50) NULL DEFAULT NULL COLLATE ’utf8_unicode_ci’, `trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE ’utf8_unicode_ci’, UNIQUE INDEX `id` (`id`), INDEX `trade_no` (`trade_no`))COMMENT=’訂單’COLLATE=’utf8_unicode_ci’ENGINE=InnoDB;

測試環(huán)境

操作系統(tǒng):Window 10 專業(yè)版

CPU:Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ

內(nèi)存:16G

MySQL版本:5.7.26

實(shí)現(xiàn)方法:1、單條數(shù)據(jù)插入

這是最普通的方式,通過循環(huán)一條一條的導(dǎo)入數(shù)據(jù),這個(gè)方式的缺點(diǎn)很明顯就是每一次都需要連接一次數(shù)據(jù)庫。

實(shí)現(xiàn)代碼:

//開始時(shí)間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open();​ //插入10萬數(shù)據(jù) for (var i = 0; i < 100000; i++) {//插入var sql = string.Format('insert into trade(id,trade_no) values(’{0}’,’{1}’);', Guid.NewGuid().ToString(), 'trade_' + (i + 1) );var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql;sqlComm.ExecuteNonQuery();sqlComm.Dispose(); }​ conn.Close();}​//完成時(shí)間var endTime = DateTime.Now;​//耗時(shí)var spanTime = endTime - startTime;Console.WriteLine('循環(huán)插入方式耗時(shí):' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時(shí):

.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟

上面的例子,我們是批量導(dǎo)入10萬條數(shù)據(jù),需要連接10萬次數(shù)據(jù)庫。我們把SQL語句改為1000條拼接為1條,這樣就能減少數(shù)據(jù)庫連接,實(shí)現(xiàn)代碼修改如下:

//開始時(shí)間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open();​ //插入10萬數(shù)據(jù) var sql = new StringBuilder(); for (var i = 0; i < 100000; i++) {//插入sql.AppendFormat('insert into trade(id,trade_no) values(’{0}’,’{1}’);', Guid.NewGuid().ToString(), 'trade_' + (i + 1) );​//合并插入if (i % 1000 == 999){ var sqlComm = new MySqlCommand(); sqlComm.Connection = conn; sqlComm.CommandText = sql.ToString(); sqlComm.ExecuteNonQuery(); sqlComm.Dispose(); sql.Clear();} }​ conn.Close();}​//完成時(shí)間var endTime = DateTime.Now;​//耗時(shí)var spanTime = endTime - startTime;Console.WriteLine('循環(huán)插入方式耗時(shí):' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時(shí):

.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟

通過優(yōu)化后,原本需要10萬次連接數(shù)據(jù)庫,只需連接100次。從最終運(yùn)行效果看,由于數(shù)據(jù)庫是在同一臺(tái)服務(wù)器,不涉及網(wǎng)絡(luò)傳輸,性能提升不明顯。

2、合并數(shù)據(jù)插入

在MySQL同樣也支持,通過合并數(shù)據(jù)來實(shí)現(xiàn)批量數(shù)據(jù)導(dǎo)入。實(shí)現(xiàn)代碼:

//開始時(shí)間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open();​ //插入10萬數(shù)據(jù) var sql = new StringBuilder(); for (var i = 0; i < 100000; i++) {if (i % 1000 == 0){ sql.Append('insert into trade(id,trade_no) values');}​//拼接sql.AppendFormat('(’{0}’,’{1}’),', Guid.NewGuid().ToString(), 'trade_' + (i + 1));​//一次性插入1000條if (i % 1000 == 999){ var sqlComm = new MySqlCommand(); sqlComm.Connection = conn; sqlComm.CommandText = sql.ToString().TrimEnd(’,’); sqlComm.ExecuteNonQuery(); sqlComm.Dispose(); sql.Clear();} }​ conn.Close();}​//完成時(shí)間var endTime = DateTime.Now;​//耗時(shí)var spanTime = endTime - startTime;Console.WriteLine('合并數(shù)據(jù)插入方式耗時(shí):' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時(shí):

.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟

通過這種方式插入操作明顯能夠提高程序的插入效率。雖然第一種方法通過優(yōu)化后,同樣的可以減少數(shù)據(jù)庫連接次數(shù),但第二種方法:合并后日志量(MySQL的binlog和innodb的事務(wù)讓日志)減少了,降低日志刷盤的數(shù)據(jù)量和頻率,從而提高效率。同時(shí)也能減少SQL語句解析的次數(shù),減少網(wǎng)絡(luò)傳輸?shù)腎O。

3、MySqlBulkLoader插入

MySQLBulkLoader也稱為LOAD DATA INFILE,它的原理是從文件讀取數(shù)據(jù)。所以我們需要將我們的數(shù)據(jù)集保存到文件,然后再從文件里面讀取。

實(shí)現(xiàn)代碼:

//開始時(shí)間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open(); var table = new DataTable(); table.Columns.Add('id', typeof(string)); table.Columns.Add('trade_no', typeof(string));​ //生成10萬數(shù)據(jù) for (var i = 0; i < 100000; i++) {if (i % 500000 == 0){ table.Rows.Clear();}​//記錄var row = table.NewRow();row[0] = Guid.NewGuid().ToString();row[1] = 'trade_' + (i + 1);table.Rows.Add(row);​//50萬條一批次插入if (i % 500000 != 499999 && i < (100000 - 1)){ continue;}Console.WriteLine('開始插入:' + i);​//數(shù)據(jù)轉(zhuǎn)換為csv格式var tradeCsv = DataTableToCsv(table);var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + 'trade.csv';File.WriteAllText(tradeFilePath, tradeCsv);​#region 保存至數(shù)據(jù)庫var bulkCopy = new MySqlBulkLoader(conn){ FieldTerminator = ',', FieldQuotationCharacter = ’'’, EscapeCharacter = ’'’, LineTerminator = 'rn', FileName = tradeFilePath, NumberOfLinesToSkip = 0, TableName = 'trade'};​bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());bulkCopy.Load();#endregion }​ conn.Close();}​//完成時(shí)間var endTime = DateTime.Now;​//耗時(shí)var spanTime = endTime - startTime;Console.WriteLine('MySqlBulk方式耗時(shí):' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時(shí):

.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟

注意:MySQL數(shù)據(jù)庫配置需開啟:允許文件導(dǎo)入。配置如下:

secure_file_priv=

性能測試對(duì)比

針對(duì)上面三種方法,分別測試10萬、20萬、100萬、1000萬條數(shù)據(jù)記錄,最終性能入如下:

.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟

最后

通過測試數(shù)據(jù)看,隨著數(shù)據(jù)量的增大,MySqlBulkLoader的方式表現(xiàn)依舊良好,其他方式性能下降比較明顯。MySqlBulkLoader的方式完全可以滿足我們的需求。

以上就是.Net Core導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的步驟的詳細(xì)內(nèi)容,更多關(guān)于導(dǎo)入千萬級(jí)數(shù)據(jù)至Mysql的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: MySQL 數(shù)據(jù)庫
相關(guān)文章:
主站蜘蛛池模板: 物流公司电话|附近物流公司电话上门取货 | 聚丙烯酰胺_厂家_价格-河南唐达净水材料有限公司 | 恒温油槽-恒温水槽-低温恒温槽厂家-宁波科麦仪器有限公司 | 并离网逆变器_高频UPS电源定制_户用储能光伏逆变器厂家-深圳市索克新能源 | 北京浩云律师事务所-企业法律顾问_破产清算等公司法律服务 | 石膏基自流平砂浆厂家-高强石膏基保温隔声自流平-轻质抹灰石膏粉砂浆批发-永康市汇利建设有限公司 | 公交驾校-北京公交驾校欢迎您! 工作心得_读书心得_学习心得_找心得体会范文就上学道文库 | 净化车间装修_合肥厂房无尘室设计_合肥工厂洁净工程装修公司-安徽盛世和居装饰 | 猪I型/II型胶原-五克隆合剂-细胞冻存培养基-北京博蕾德科技发展有限公司 | 浙江栓钉_焊钉_剪力钉厂家批发_杭州八建五金制造有限公司 | 京港视通报道-质量走进大江南北-京港视通传媒[北京]有限公司 | 艺术漆十大品牌_艺术涂料加盟代理_蒙太奇艺术涂料厂家品牌|艺术漆|微水泥|硅藻泥|乳胶漆 | 液压压力机,液压折弯机,液压剪板机,模锻液压机-鲁南新力机床有限公司 | 奇酷教育-Python培训|UI培训|WEB大前端培训|Unity3D培训|HTML5培训|人工智能培训|JAVA开发的教育品牌 | 老城街小面官网_正宗重庆小面加盟技术培训_特色面馆加盟|牛肉拉面|招商加盟代理费用多少钱 | 石家庄装修设计_室内家装设计_别墅装饰装修公司-石家庄金舍装饰官网 | 黑龙江京科脑康医院-哈尔滨精神病医院哪家好_哈尔滨精神科医院排名_黑龙江精神心理病专科医院 | 破碎机_上海破碎机_破碎机设备_破碎机厂家-上海山卓重工机械有限公司 | 道达尔润滑油-食品级润滑油-道达尔导热油-合成导热油,深圳道达尔代理商合-深圳浩方正大官网 | 铁艺,仿竹,竹节,护栏,围栏,篱笆,栅栏,栏杆,护栏网,网围栏,厂家 - 河北稳重金属丝网制品有限公司 山东太阳能路灯厂家-庭院灯生产厂家-济南晟启灯饰有限公司 | 三效蒸发器_多效蒸发器价格_四效三效蒸发器厂家-青岛康景辉 | 数显水浴恒温振荡器-分液漏斗萃取振荡器-常州市凯航仪器有限公司 | 杭州公司变更法人-代理记账收费价格-公司注销代办_杭州福道财务管理咨询有限公司 | 压力喷雾干燥机,喷雾干燥设备,柱塞隔膜泵-无锡市闻华干燥设备有限公司 | 柔软云母板-硬质-水位计云母片组件-首页-武汉长丰云母绝缘材料有限公司 | 交变/复合盐雾试验箱-高低温冲击试验箱_安奈设备产品供应杭州/江苏南京/安徽马鞍山合肥等全国各地 | 定做大型恒温循环水浴槽-工业用不锈钢恒温水箱-大容量低温恒温水槽-常州精达仪器 | 消电检公司,消电检价格,北京消电检报告-北京设施检测公司-亿杰(北京)消防工程有限公司 | 驾驶式洗地机/扫地机_全自动洗地机_工业洗地机_荣事达工厂官网 | 电位器_轻触开关_USB连接器_广东精密龙电子科技有限公司 | 焊接烟尘净化器__焊烟除尘设备_打磨工作台_喷漆废气治理设备 -催化燃烧设备 _天津路博蓝天环保科技有限公司 | YAGEO国巨电容|贴片电阻|电容价格|三星代理商-深圳市巨优电子有限公司 | 原色会计-合肥注册公司_合肥代理记账公司_营业执照代办 | 废旧物资回收公司_广州废旧设备回收_报废设备物资回收-益美工厂设备回收公司 | 兰州牛肉面加盟,兰州牛肉拉面加盟-京穆兰牛肉面 | 拖链电缆_柔性电缆_伺服电缆_坦克链电缆-深圳市顺电工业电缆有限公司 | 智慧钢琴-电钢琴-便携钢琴-数码钢琴-深圳市特伦斯乐器有限公司 | 压砖机_电动螺旋压力机_粉末成型压力机_郑州华隆机械tel_0371-60121717 | 宁波普瑞思邻苯二甲酸盐检测仪,ROHS2.0检测设备,ROHS2.0测试仪厂家 | 数显水浴恒温振荡器-分液漏斗萃取振荡器-常州市凯航仪器有限公司 | 高考志愿规划师_高考规划师_高考培训师_高报师_升学规划师_高考志愿规划师培训认证机构「向阳生涯」 |