电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術(shù)文章
文章詳情頁

MySQL 大表添加一列的實(shí)現(xiàn)

瀏覽:2日期:2023-10-06 08:06:22

問題參考自: https://www.zhihu.com/question/440231149 ,mysql中,一張表里有3億數(shù)據(jù),未分表,要求是在這個大表里添加一列數(shù)據(jù)。數(shù)據(jù)庫不能停,并且還有增刪改操作。請問如何操作?答案為個人原創(chuàng)

以前老版本 MySQL 添加一列的方式:

ALTER TABLE 你的表 ADD COLUMN 新列 char(128);

會造成鎖表,簡易過程如下:

新建一個和 Table1 完全同構(gòu)的 Table2 對表 Table1 加寫鎖 在表 Table2 上執(zhí)行 ALTER TABLE 你的表 ADD COLUMN 新列 char(128) 將 Table1 中的數(shù)據(jù)拷貝到 Table2 將 Table2 重命名為 Table1 并移除 Table1,釋放所有相關(guān)的鎖

如果數(shù)據(jù)量特別特別大,那么鎖表時間很長,期間所有表更新都會阻塞,線上業(yè)務(wù)不能正常執(zhí)行。

針對 MySQL 5.6(不包含)之前的版本,通過觸發(fā)器將一個表的更新在另一個表上重復(fù),并進(jìn)行數(shù)據(jù)同步,當(dāng)數(shù)據(jù)同步完成時,業(yè)務(wù)上修改表名為新表并發(fā)布。業(yè)務(wù)不會暫停。觸發(fā)器設(shè)置類似于:

create trigger person_trigger_update AFTER UPDATE on 原有表 for each row begin set @x = 'trigger UPDATE';Replace into 新表 SELECT * from 原有表 where 新表.id = 原有表.id;END IF;end;

MySQL 5.6(包含) 以后的版本引入了在線 DDL 的功能:

Alter table 你的表 , ALGORITHM [=] {DEFAULT|INSTANT|INPLACE|COPY}, LOCK [=] { DEFAULT| NONE| SHARED| EXCLUSIVE }

其中的參數(shù):

ALGORITHM:

DEFAULT:默認(rèn)方式,在 MySQL 8.0中,如果未顯示指定 ALGORITHM,那么會優(yōu)先選擇 INSTANT 算法,如果不行再使用 INPLACE 算法,如果不支持 INPLACE 算法則使用 COPY 的方式完成 INSTANT:8.0 中新添加的算法,添加列是立即返回。但是不能是虛擬列。這個原理很簡單,對于新建一列,表所有原有數(shù)據(jù)并不是立刻發(fā)生變化,只是在表字典里面記錄下這個列和默認(rèn)值,對于默認(rèn)的 Dynamic 行格式(其實(shí)就是 Compressed 的變種),如果更新了這一列則原有數(shù)據(jù)標(biāo)記為刪除在末尾追加更新后的記錄。這樣做就是沒有提前預(yù)留出列空間,之后更新可能經(jīng)常會發(fā)生行記錄空間變動。但是對于大多數(shù)業(yè)務(wù),都是最近的時間的記錄才會修改,所以問題不大。 INPLACE:在原表上直接進(jìn)行修改,不會拷貝臨時表,可以逐條記錄修改,不會產(chǎn)生大量的 undolog 以及 redolog,不會占用很多 buffer。可以避免重建表帶來的IO和CPU消耗,保證期間依然良好的性能和并發(fā)。 COPY:拷貝到臨時新表上進(jìn)行修改。由于記錄拷貝,會產(chǎn)生大量的 undolog 以及 redolog,并占用很多 buffer,對業(yè)務(wù)性能有影響。

LOCK:

DEFAULT:和 ALGORITHM 的 DEFAULT 類似 NONE:無鎖,允許并發(fā)讀取和更新表 SHARED:共享鎖,允許讀取不允許更新 EXCLUSIVE:不允許讀取和更新

各個版本支持的在線 DDL 修改使用的算法的對比:

MySQL 大表添加一列的實(shí)現(xiàn)

參考文檔:

MySQL 5.6:https://dev.mysql.com/doc/refman/5.6/en/innodb-online-ddl-operations.htmlMySQL

5.7:https://dev.mysql.com/doc/refman/5.7/en/innodb-online-ddl-operations.htmlMySQL

8.0:https://dev.mysql.com/doc/refman/8.0/en/innodb-online-ddl-operations.html

可以通過:

ALTER TABLE 你的表 ADD COLUMN 新列 char(128), ALGORITHM=INSTANT, LOCK=NONE;

類似的語句,實(shí)現(xiàn)在線增加字段。最好還是明確 ALGORITHM 以及 LOCK,這樣執(zhí)行 DDL 的時候能明確知道到底會對線上業(yè)務(wù)有多大影響

同時,執(zhí)行在線 DDL 的過程大概是:

MySQL 大表添加一列的實(shí)現(xiàn)

可以看出,在開始階段需要 metadata lock,metadata lock 是在 5.5 才引入到mysql,之前也有類似保護(hù)元數(shù)據(jù)的機(jī)制,只是沒有明確提出 metadata lock 概念而已。但是 5.5 之前版本(比如5.1)與5.5之后版本在保護(hù)元數(shù)據(jù)這塊有一個顯著的不同點(diǎn)是,5.1對于元數(shù)據(jù)的保護(hù)是語句級別的,5.5對于metadata的保護(hù)是事務(wù)級別的。所謂語句級別,即語句執(zhí)行完成后,無論事務(wù)是否提交或回滾,其表結(jié)構(gòu)可以被其他會話更新;而事務(wù)級別則是在事務(wù)結(jié)束后才釋放 metadata lock。

引入 metadata lock 后,主要解決了2個問題,一個是事務(wù)隔離問題,比如在可重復(fù)隔離級別下,會話A在2次查詢期間,會話B對表結(jié)構(gòu)做了修改,兩次查詢結(jié)果就會不一致,無法滿足可重復(fù)讀的要求;另外一個是數(shù)據(jù)復(fù)制的問題,比如會話A執(zhí)行了多條更新語句期間,另外一個會話B做了表結(jié)構(gòu)變更并且先提交,就會導(dǎo)致 slave 在重做時,先重做 alter,再重做 update 時就會出現(xiàn)復(fù)制錯誤的現(xiàn)象。

如果當(dāng)前有很多事務(wù)在執(zhí)行,并且有那種包含大查詢的事務(wù),例如:

START TRANSACTION;select count(*) from 你的表

這樣類似的會執(zhí)行較長時間的事務(wù),也會阻塞。

所以,原則上:

避免大事務(wù) 在業(yè)務(wù)低峰去做表結(jié)構(gòu)變化

到此這篇關(guān)于MySQL 大表添加一列的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)MySQL 大表添加一列內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!

標(biāo)簽: MySQL 數(shù)據(jù)庫
相關(guān)文章:
主站蜘蛛池模板: 企业微信营销_企业微信服务商_私域流量运营_艾客SCRM官网 | 拉力机-拉力试验机-万能试验机-电子拉力机-拉伸试验机-剥离强度试验机-苏州皖仪实验仪器有限公司 | 上海噪音治理公司-专业隔音降噪公司-中广通环保 | 体视显微镜_荧光生物显微镜_显微镜报价-微仪光电生命科学显微镜有限公司 | 欧美日韩国产一区二区三区不_久久久久国产精品无码不卡_亚洲欧洲美洲无码精品AV_精品一区美女视频_日韩黄色性爱一级视频_日本五十路人妻斩_国产99视频免费精品是看4_亚洲中文字幕无码一二三四区_国产小萍萍挤奶喷奶水_亚洲另类精品无码在线一区 | 箱式破碎机_移动方箱式破碎机/价格/厂家_【华盛铭重工】 | 钛板_钛管_钛棒_钛盘管-无锡市盛钛科技有限公司 | 生鲜配送系统-蔬菜食材配送管理系统-连锁餐饮订货配送软件-挪挪生鲜供应链管理软件 | CTP磁天平|小电容测量仪|阴阳极极化_双液系沸点测定仪|dsj电渗实验装置-南京桑力电子设备厂 | pbt头梳丝_牙刷丝_尼龙毛刷丝_PP塑料纤维合成毛丝定制厂_广州明旺 | 多米诺-多米诺世界纪录团队-多米诺世界-多米诺团队培训-多米诺公关活动-多米诺创意广告-多米诺大型表演-多米诺专业赛事 | ISO9001认证咨询_iso9001企业认证代理机构_14001|18001|16949|50430认证-艾世欧认证网 | 塑料造粒机「厂家直销」-莱州鑫瑞迪机械有限公司 | 东莞市海宝机械有限公司-不锈钢分选机-硅胶橡胶-生活垃圾-涡电流-静电-金属-矿石分选机 | 全自动不干胶贴标机_套标机-上海今昂贴标机生产厂家 | 电池高低温试验箱-气态冲击箱-双层电池防爆箱|简户百科 | 不锈钢轴流风机,不锈钢电机-许昌光维防爆电机有限公司(原许昌光维特种电机技术有限公司) | 河南中专学校|职高|技校招生-河南中职中专网 | PC构件-PC预制构件-构件设计-建筑预制构件-PC构件厂-锦萧新材料科技(浙江)股份有限公司 | 河南砖机首页-全自动液压免烧砖机,小型砌块水泥砖机厂家[十年老厂] | 工业淬火油烟净化器,北京油烟净化器厂家,热处理油烟净化器-北京众鑫百科 | 钢格板|镀锌钢格板|热镀锌钢格板|格栅板|钢格板|钢格栅板|热浸锌钢格板|平台钢格板|镀锌钢格栅板|热镀锌钢格栅板|平台钢格栅板|不锈钢钢格栅板 - 专业钢格板厂家 | 次氯酸钠厂家,涉水级次氯酸钠,三氯化铁生产厂家-淄博吉灿化工 | 3d打印服务,3d打印汽车,三维扫描,硅胶复模,手板,快速模具,深圳市精速三维打印科技有限公司 | 贝朗斯动力商城(BRCPOWER.COM) - 买叉车蓄电池上贝朗斯商城,价格更超值,品质有保障! | 5nd音乐网|最新流行歌曲|MP3歌曲免费下载|好听的歌|音乐下载 免费听mp3音乐 | 青岛侦探_青岛侦探事务所_青岛劝退小三_青岛婚外情取证-青岛王军侦探事务所 | 抖音短视频运营_企业网站建设_网络推广_全网自媒体营销-东莞市凌天信息科技有限公司 | 玻璃瓶厂家_酱菜瓶厂家_饮料瓶厂家_酒瓶厂家_玻璃杯厂家_徐州东明玻璃制品有限公司 | 清水-铝合金-建筑模板厂家-木模板价格-铝模板生产「五棵松」品牌 | 济南网站建设|济南建网站|济南网站建设公司【济南腾飞网络】【荐】 | 蔬菜配送公司|蔬菜配送中心|食材配送|饭堂配送|食堂配送-首宏公司 | 杭州网络公司_百度SEO优化-外贸网络推广_抖音小程序开发-杭州乐软科技有限公司 | 【直乐】河北石家庄脊柱侧弯医院_治疗椎间盘突出哪家医院好_骨科脊柱外科专业医院_治疗抽动症/关节病骨伤权威医院|排行-直乐矫形中医医院 | 湖南自考_湖南自学考试网| 礼堂椅厂家|佛山市艺典家具有限公司 | Trimos测长机_测高仪_TESA_mahr,WYLER水平仪,PWB对刀仪-德瑞华测量技术(苏州)有限公司 | 杭州代理记账多少钱-注册公司代办-公司注销流程及费用-杭州福道财务管理咨询有限公司 | 二手Sciex液质联用仪-岛津气质联用仪-二手安捷伦气质联用仪-上海隐智科学仪器有限公司 | 合肥抖音SEO网站优化-网站建设-网络推广营销公司-百度爱采购-安徽企匠科技 | 翅片管换热器「型号全」_厂家-淄博鑫科环保 |