电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL 8.0 redo log的深入解析

瀏覽:9日期:2023-10-05 07:04:55
前言

最開始了解mysql實現的時候,總聽到redo log, WAL(write-ahead logging),undo log這些關鍵詞,了解到redo log主要是用于實現事務的持久化的。為了進一步了解redo log,看了下相關代碼(源碼版本: mysql 8.0.12),這里簡單總結下,主要介紹redo log是如何產生,如何落盤,以及最終通知用戶的。

redo log的產生

讀寫事務在執行的過程中,會不斷的產生redo log。申請數據頁、修改數據頁、記錄undo log等,都會產生redo log。mysql將用戶事務拆分成一個個mtr(mini transaction),redo log最初產生時就是被記錄到mtr中的,并伴隨著mtr的提交而提交,最終落到硬盤上。

redo log 的提交

mtr在提交時,會將mtr中的redo log寫到系統變量log_sys的log buffer中。mysql8.0一個新特性就是redo log提交的無鎖化。在8.0以前,各個用戶線程都是通過互斥量競爭,串行的寫log buffer,因此能保證lsn的順序無間隔增長。8.0時用戶線程可以并發寫log buffer,如果某個用戶線程寫log buffer成功后,就將自己寫的lsn以前的log buffer刷盤,則有可能導致其他用戶線程寫log buffer還沒完成就被刷盤。

MySQL 8.0 redo log的深入解析

為了解決這個問題,mysql 8.0引入了Link_buf這個數據結構來避免log buffer的空洞。Link_buf實際是一個定長數組,像滑動窗口一樣跟蹤log buffer一段區間的寫入情況,隨著log buffer中寫入連續redo log不斷向前推進。

Link_buf的數據結構如圖:

MySQL 8.0 redo log的深入解析

當用戶在log buffer的start_lsn-end_lsn間寫下redo log時,會標記Link_buf相應的位置,即將m_link[start_lsn%m_capacity]賦值為為end_lsn-start_lsn。

redo log記錄到log buffer的過程如下:

1.首先,各用戶線程寫redo log時,先根據redo log長度,向系統全局原子變量log_sys.sn獲取本次redo log日志的start_lsn, end_lsn。原子變量sn能保證各線程獲得的start_lsn-end_lsn區間連續無空洞;

MySQL 8.0 redo log的深入解析

2.用戶線程申請到start_lsn-end_lsn區間后,需要先等待到Link_buf推進到自己可以使用的位置。

MySQL 8.0 redo log的深入解析

如圖所示,start_lsn0-end_lsn0,start_lsn2-end_lsn2, start_lsn3-end_lsn3為三個用戶線程新申請的lsn區間;start_lsn1-end_lsn1對應的區間已經標記到link_buf上;start_lsn3-end_lsn3距離tail太遠,需要等待link_buf推進才能使用;

3.寫入log buffer后,再將start_lsn->end_lsn的范圍標記到link_buf(注意:因為只在start_lsn%capacity的位置標記link_buf,所以即使end_lsn超過(m_tail, m_tail+m_capacity)也不影響);

MySQL 8.0 redo log的深入解析

4.用戶線程提交事務時設置事件log_sys.writer_event,觸發log_writer線程將日志從redo log buffer寫到系統緩存(log_writer線程自己也會輪詢link_buf判斷是否寫入了新的日志);

5.log_writer線程推進m_tail,并將m_tail前的log buffer落盤。

MySQL 8.0 redo log的深入解析

redo log 的落盤及通知

前面簡述了redo log是如何提交的,在redo log提交以及落盤時,涉及多個線程,他們的關系如下:

MySQL 8.0 redo log的深入解析

用戶線程在讀寫事務提交時,會產生一些redo log,并隨著mtr提交而記錄到redo log buffer中,隨后用戶線程嘗試設置writer_event觸發log_writer線程寫日志,并監聽屬于自己的flush_events[i]事件;

log_writer線程推進Link_buf.m_tail,將最大連續lsn前的redo log寫入系統緩存,并設置flusher_event觸發log_flusher線程;

log_flusher線程將已寫入系統緩存的日志刷盤,并設置flush_notifier_event觸發log_flush_notifier線程通知用戶;

log_flush_notifier根據已刷盤的lsn換算出需要觸發的事件,通知用戶線程。

具體實現時,通過log_sys中的幾個成員變量,跟進redo log的寫入情況。其中log_sys.recent_writtern.m_tail表示log buffer最大連續范圍;log_sys.write_lsn表示寫入到系統緩存的位置;log_sys.flushed_to_disk_lsn表示已落盤的位置。各標記的推進過程如下:

MySQL 8.0 redo log的深入解析

通知用戶線程

用戶提交事務時,會根據innodb_flush_log_at_trx_commit參數,調用log_wait_for_write或log_wait_for_flush,來等待redo log寫入到系統緩存或刷到硬盤。用戶線程的通知是通過log_sys.flush_events事件數組來實現的,為了避免一次通知的flush_events過多,flush_events會像桶一樣劃分給不同的用戶線程:redo log是以一個個log block劃分的,假設log_sys.flush_events數組長度為m,則第n個log block的刷盤,由flush_events[n%m]事件監聽。當log buffer的第L1個log block到第L2個log block被刷盤時,會設置L1-L2之間的log block所屬的flush_events,從而redo log在L1-L2之間的用戶線程都會收到通知。

MySQL 8.0 redo log的深入解析

總結

mysql8.0通過redo log無鎖化,解決了用戶線程寫redo log時競爭鎖帶來的性能影響。同時將redo log寫文件、redo log刷盤從用戶線程中剝離出來,抽成單獨的線程,用戶線程只負責將redo log寫入到log buffer,不再關心redo log的落盤細節,只需等待log_writer線程或log_flusher線程的通知。

以上就是MySQL 8.0 redo log的深入解析的詳細內容,更多關于MySQL 8.0 redo log的資料請關注好吧啦網其它相關文章!

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 深圳离婚律师咨询「在线免费」华荣深圳婚姻律师事务所专办离婚纠纷案件 | 广州展览设计公司_展台设计搭建_展位设计装修公司-众派展览装饰 广州展览制作工厂—[优简]直营展台制作工厂_展会搭建资质齐全 | elisa试剂盒-PCR试剂盒「上海谷研实业有限公司」 | Copeland/谷轮压缩机,谷轮半封闭压缩机,谷轮涡旋压缩机,型号规格,技术参数,尺寸图片,价格经销商 CTP磁天平|小电容测量仪|阴阳极极化_双液系沸点测定仪|dsj电渗实验装置-南京桑力电子设备厂 | 电伴热系统施工_仪表电伴热保温箱厂家_沃安电伴热管缆工业技术(济南)有限公司 | 雨水收集系统厂家-雨水收集利用-模块雨水收集池-徐州博智环保科技有限公司 | 碳纤维复合材料制品生产定制工厂订制厂家-凯夫拉凯芙拉碳纤维手机壳套-碳纤维雪茄盒外壳套-深圳市润大世纪新材料科技有限公司 | 膏剂灌装旋盖机-眼药水灌装生产线-西林瓶粉剂分装机-南通博琅机械科技 | 骨龄仪_骨龄检测仪_儿童骨龄测试仪_品牌生产厂家【品源医疗】 | 数显水浴恒温振荡器-分液漏斗萃取振荡器-常州市凯航仪器有限公司 | 新型锤式破碎机_新型圆锥式_新型颚式破碎机_反击式打沙机_锤式制砂机_青州建源机械 | 东莞市踏板石餐饮管理有限公司_正宗桂林米粉_正宗桂林米粉加盟_桂林米粉加盟费-东莞市棒子桂林米粉 | 预制围墙_工程预制围墙_天津市瑞通建筑材料有限公司 | 聚氨酯复合板保温板厂家_廊坊华宇创新科技有限公司 | 转向助力泵/水泵/发电机皮带轮生产厂家-锦州华一精工有限公司 | 杰恒蠕动泵-蠕动泵专业厂家-19年专注蠕动泵 | 折弯机-刨槽机-数控折弯机-数控刨槽机-数控折弯机厂家-深圳豐科机械有限公司 | 潍坊大集网-潍坊信息港-潍坊信息网 | 贝壳粉涂料-内墙腻子-外墙腻子-山东巨野七彩贝壳漆业中心 | 恒温恒湿试验箱_高低温试验箱_恒温恒湿箱-东莞市高天试验设备有限公司 | Jaeaiot捷易科技-英伟达AI显卡模组/GPU整机服务器供应商 | RTO换向阀_VOC高温阀门_加热炉切断阀_双偏心软密封蝶阀_煤气蝶阀_提升阀-湖北霍科德阀门有限公司 | 骁龙云呼电销防封号系统-axb电销平台-外呼稳定『免费试用』 | 石磨面粉机|石磨面粉机械|石磨面粉机组|石磨面粉成套设备-河南成立粮油机械有限公司 | 厌氧反应器,IC厌氧反应器,厌氧三相分离器-山东创博环保科技有限公司 | 广州昊至泉水上乐园设备有限公司| 连续油炸机,全自动油炸机,花生米油炸机-烟台茂源食品机械制造有限公司 | 锻造液压机,粉末冶金,拉伸,坩埚成型液压机定制生产厂家-山东威力重工官方网站 | 软装设计-提供软装装饰和软装配饰及软装陈设的软装设计公司 | 成都热收缩包装机_袖口式膜包机_高速塑封机价格_全自动封切机器_大型套膜机厂家 | 吸音板,隔音板,吸音材料,吸音板价格,声学材料 - 佛山诺声吸音板厂家 | 盘扣式脚手架-附着式升降脚手架-移动脚手架,专ye承包服务商 - 苏州安踏脚手架工程有限公司 | 恒温恒湿箱(药品/保健品/食品/半导体/细菌)-兰贝石(北京)科技有限公司 | 天津热油泵_管道泵_天津高温热油泵-天津市金丰泰机械泵业有限公司【官方网站】 | 蒜肠网-动漫,二次元,COSPLAY,漫展以及收藏型模型,手办,玩具的新媒体.(原变形金刚变迷TF圈) | 食安观察网| 航空障碍灯_高中低光强航空障碍灯_民航许可认证航空警示灯厂家-东莞市天翔航天科技有限公司 | 土壤水分自动监测站-SM150便携式土壤水分仪-铭奥仪器 | 生物制药洁净车间-GMP车间净化工程-食品净化厂房-杭州波涛净化设备工程有限公司 | 手术室净化厂家-成都做医院净化工程的公司-四川华锐-15年特殊科室建设经验 | 商用绞肉机-熟肉切片机-冻肉切丁机-猪肉开条机 - 广州市正盈机械设备有限公司 |