电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟

瀏覽:20日期:2023-10-02 15:37:18
目錄前期準(zhǔn)備實現(xiàn)方法:1、單條數(shù)據(jù)插入2、合并數(shù)據(jù)插入3、MySqlBulkLoader插入性能測試對比最后前期準(zhǔn)備

訂單測試表

CREATE TABLE `trade` ( `id` VARCHAR(50) NULL DEFAULT NULL COLLATE ’utf8_unicode_ci’, `trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE ’utf8_unicode_ci’, UNIQUE INDEX `id` (`id`), INDEX `trade_no` (`trade_no`))COMMENT=’訂單’COLLATE=’utf8_unicode_ci’ENGINE=InnoDB;

測試環(huán)境

操作系統(tǒng):Window 10 專業(yè)版

CPU:Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ

內(nèi)存:16G

MySQL版本:5.7.26

實現(xiàn)方法:1、單條數(shù)據(jù)插入

這是最普通的方式,通過循環(huán)一條一條的導(dǎo)入數(shù)據(jù),這個方式的缺點很明顯就是每一次都需要連接一次數(shù)據(jù)庫。

實現(xiàn)代碼:

//開始時間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open();​ //插入10萬數(shù)據(jù) for (var i = 0; i < 100000; i++) {//插入var sql = string.Format('insert into trade(id,trade_no) values(’{0}’,’{1}’);', Guid.NewGuid().ToString(), 'trade_' + (i + 1) );var sqlComm = new MySqlCommand();sqlComm.Connection = conn;sqlComm.CommandText = sql;sqlComm.ExecuteNonQuery();sqlComm.Dispose(); }​ conn.Close();}​//完成時間var endTime = DateTime.Now;​//耗時var spanTime = endTime - startTime;Console.WriteLine('循環(huán)插入方式耗時:' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時:

.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟

上面的例子,我們是批量導(dǎo)入10萬條數(shù)據(jù),需要連接10萬次數(shù)據(jù)庫。我們把SQL語句改為1000條拼接為1條,這樣就能減少數(shù)據(jù)庫連接,實現(xiàn)代碼修改如下:

//開始時間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open();​ //插入10萬數(shù)據(jù) var sql = new StringBuilder(); for (var i = 0; i < 100000; i++) {//插入sql.AppendFormat('insert into trade(id,trade_no) values(’{0}’,’{1}’);', Guid.NewGuid().ToString(), 'trade_' + (i + 1) );​//合并插入if (i % 1000 == 999){ var sqlComm = new MySqlCommand(); sqlComm.Connection = conn; sqlComm.CommandText = sql.ToString(); sqlComm.ExecuteNonQuery(); sqlComm.Dispose(); sql.Clear();} }​ conn.Close();}​//完成時間var endTime = DateTime.Now;​//耗時var spanTime = endTime - startTime;Console.WriteLine('循環(huán)插入方式耗時:' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時:

.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟

通過優(yōu)化后,原本需要10萬次連接數(shù)據(jù)庫,只需連接100次。從最終運行效果看,由于數(shù)據(jù)庫是在同一臺服務(wù)器,不涉及網(wǎng)絡(luò)傳輸,性能提升不明顯。

2、合并數(shù)據(jù)插入

在MySQL同樣也支持,通過合并數(shù)據(jù)來實現(xiàn)批量數(shù)據(jù)導(dǎo)入。實現(xiàn)代碼:

//開始時間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open();​ //插入10萬數(shù)據(jù) var sql = new StringBuilder(); for (var i = 0; i < 100000; i++) {if (i % 1000 == 0){ sql.Append('insert into trade(id,trade_no) values');}​//拼接sql.AppendFormat('(’{0}’,’{1}’),', Guid.NewGuid().ToString(), 'trade_' + (i + 1));​//一次性插入1000條if (i % 1000 == 999){ var sqlComm = new MySqlCommand(); sqlComm.Connection = conn; sqlComm.CommandText = sql.ToString().TrimEnd(’,’); sqlComm.ExecuteNonQuery(); sqlComm.Dispose(); sql.Clear();} }​ conn.Close();}​//完成時間var endTime = DateTime.Now;​//耗時var spanTime = endTime - startTime;Console.WriteLine('合并數(shù)據(jù)插入方式耗時:' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時:

.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟

通過這種方式插入操作明顯能夠提高程序的插入效率。雖然第一種方法通過優(yōu)化后,同樣的可以減少數(shù)據(jù)庫連接次數(shù),但第二種方法:合并后日志量(MySQL的binlog和innodb的事務(wù)讓日志)減少了,降低日志刷盤的數(shù)據(jù)量和頻率,從而提高效率。同時也能減少SQL語句解析的次數(shù),減少網(wǎng)絡(luò)傳輸?shù)腎O。

3、MySqlBulkLoader插入

MySQLBulkLoader也稱為LOAD DATA INFILE,它的原理是從文件讀取數(shù)據(jù)。所以我們需要將我們的數(shù)據(jù)集保存到文件,然后再從文件里面讀取。

實現(xiàn)代碼:

//開始時間var startTime = DateTime.Now;using (var conn = new MySqlConnection(connsql)){ conn.Open(); var table = new DataTable(); table.Columns.Add('id', typeof(string)); table.Columns.Add('trade_no', typeof(string));​ //生成10萬數(shù)據(jù) for (var i = 0; i < 100000; i++) {if (i % 500000 == 0){ table.Rows.Clear();}​//記錄var row = table.NewRow();row[0] = Guid.NewGuid().ToString();row[1] = 'trade_' + (i + 1);table.Rows.Add(row);​//50萬條一批次插入if (i % 500000 != 499999 && i < (100000 - 1)){ continue;}Console.WriteLine('開始插入:' + i);​//數(shù)據(jù)轉(zhuǎn)換為csv格式var tradeCsv = DataTableToCsv(table);var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + 'trade.csv';File.WriteAllText(tradeFilePath, tradeCsv);​#region 保存至數(shù)據(jù)庫var bulkCopy = new MySqlBulkLoader(conn){ FieldTerminator = ',', FieldQuotationCharacter = ’'’, EscapeCharacter = ’'’, LineTerminator = 'rn', FileName = tradeFilePath, NumberOfLinesToSkip = 0, TableName = 'trade'};​bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());bulkCopy.Load();#endregion }​ conn.Close();}​//完成時間var endTime = DateTime.Now;​//耗時var spanTime = endTime - startTime;Console.WriteLine('MySqlBulk方式耗時:' + spanTime.Minutes + '分' + spanTime.Seconds + '秒' + spanTime.Milliseconds + '毫秒');

10萬條測試耗時:

.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟

注意:MySQL數(shù)據(jù)庫配置需開啟:允許文件導(dǎo)入。配置如下:

secure_file_priv=

性能測試對比

針對上面三種方法,分別測試10萬、20萬、100萬、1000萬條數(shù)據(jù)記錄,最終性能入如下:

.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟

最后

通過測試數(shù)據(jù)看,隨著數(shù)據(jù)量的增大,MySqlBulkLoader的方式表現(xiàn)依舊良好,其他方式性能下降比較明顯。MySqlBulkLoader的方式完全可以滿足我們的需求。

以上就是.Net Core導(dǎo)入千萬級數(shù)據(jù)至Mysql的步驟的詳細(xì)內(nèi)容,更多關(guān)于導(dǎo)入千萬級數(shù)據(jù)至Mysql的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章!

標(biāo)簽: MySQL 數(shù)據(jù)庫
相關(guān)文章:
主站蜘蛛池模板: 河南不锈钢水箱_地埋水箱_镀锌板水箱_消防水箱厂家-河南联固供水设备有限公司 | 工业风机_环保空调_冷风机_工厂车间厂房通风降温设备旺成服务平台 | 电地暖-电采暖-发热膜-石墨烯电热膜品牌加盟-暖季地暖厂家 | 懂研帝_专业SCI论文润色机构_SCI投稿发表服务公司 | 中细软知识产权_专业知识产权解决方案提供商 | 快速门厂家批发_PVC快速卷帘门_高速门_高速卷帘门-广州万盛门业 快干水泥|桥梁伸缩缝止水胶|伸缩缝装置生产厂家-广东广航交通科技有限公司 | 高扬程排污泵_隔膜泵_磁力泵_节能自吸离心水泵厂家-【上海博洋】 | 菲希尔X射线测厚仪-菲希尔库伦法测厚仪-无锡骏展仪器有限责任公司 | 游泳池设备安装工程_恒温泳池设备_儿童游泳池设备厂家_游泳池水处理设备-东莞市君达泳池设备有限公司 | 南京种植牙医院【官方挂号】_南京治疗种植牙医院那个好_南京看种植牙哪里好_南京茀莱堡口腔医院 尼龙PA610树脂,尼龙PA612树脂,尼龙PA1010树脂,透明尼龙-谷骐科技【官网】 | 12cr1mov无缝钢管切割-15crmog无缝钢管切割-40cr无缝钢管切割-42crmo无缝钢管切割-Q345B无缝钢管切割-45#无缝钢管切割 - 聊城宽达钢管有限公司 | 防爆电机-高压防爆电机-ybx4电动机厂家-河南省南洋防爆电机有限公司 | 深圳市万色印象美业有限公司| 丙烷/液氧/液氮气化器,丙烷/液氧/液氮汽化器-无锡舍勒能源科技有限公司 | 水厂自动化|污水处理中控系统|水利信息化|智慧水务|智慧农业-山东德艾自动化科技有限公司 | 成都亚克力制品,PVC板,双色板雕刻加工,亚克力门牌,亚克力标牌,水晶字雕刻制作-零贰捌广告 | 领先的大模型技术与应用公司-中关村科金 | 天津拓展_天津团建_天津趣味运动会_天津活动策划公司-天津华天拓展培训中心 | 便携式表面粗糙度仪-彩屏硬度计-分体式粗糙度仪-北京凯达科仪科技有限公司 | 电缆接头_防水接头_电缆防水接头 - 乐清市新豪电气有限公司 | 带压开孔_带压堵漏_带压封堵-菏泽金升管道工程有限公司 | 工控机,嵌入式主板,工业主板,arm主板,图像采集卡,poe网卡,朗锐智科 | 无纺布包装机|径向缠绕包装机|缠绕膜打包机-上海晏陵智能设备有限公司 | 【同风运车官网】一站式汽车托运服务平台,验车满意再付款 | 自动记录数据电子台秤,记忆储存重量电子桌称,设定时间记录电子秤-昆山巨天 | 下水道疏通_管道疏通_马桶疏通_附近疏通电话- 立刻通 | 电伴热系统施工_仪表电伴热保温箱厂家_沃安电伴热管缆工业技术(济南)有限公司 | 二手光谱仪维修-德国OBLF光谱仪|进口斯派克光谱仪-热电ARL光谱仪-意大利GNR光谱仪-永晖检测 | 江苏大隆凯科技有限公司| 欧必特空气能-商用空气能热水工程,空气能热水器,超低温空气源热泵生产厂家-湖南欧必特空气能公司 | 胶原检测试剂盒,弹性蛋白检测试剂盒,类克ELISA试剂盒,阿达木单抗ELISA试剂盒-北京群晓科苑生物技术有限公司 | 透平油真空滤油机-变压器油板框滤油机-滤油车-华之源过滤设备 | 紫外线老化试验箱_uv紫外线老化试验箱价格|型号|厂家-正航仪器设备 | 迪威娱乐|迪威娱乐客服|18183620002 | 微信聊天记录恢复_手机短信删除怎么恢复_通讯录恢复软件下载-快易数据恢复 | 耙式干燥机_真空耙式干燥机厂家-无锡鹏茂化工装备有限公司 | 高柔性拖链电缆_卷筒电缆_耐磨耐折聚氨酯电缆-玖泰特种电缆 | 石家庄网站建设|石家庄网站制作|石家庄小程序开发|石家庄微信开发|网站建设公司|网站制作公司|微信小程序开发|手机APP开发|软件开发 | 培训中心-翰香原香酥板栗饼加盟店总部-正宗板栗酥饼技术 | 钢格板|镀锌钢格板|热镀锌钢格板|格栅板|钢格板|钢格栅板|热浸锌钢格板|平台钢格板|镀锌钢格栅板|热镀锌钢格栅板|平台钢格栅板|不锈钢钢格栅板 - 专业钢格板厂家 | 回转炉,外热式回转窑,回转窑炉-淄博圣元窑炉工程有限公司 |