电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL 發生同步延遲時Seconds_Behind_Master還為0的原因

瀏覽:7日期:2023-10-01 14:59:56
目錄問題描述原理簡析問題分析拓展一下總結一下問題描述

用戶在主庫上執行了一個 alter 操作,持續約一小時。操作完成之后,從庫發現存在同步延遲,但是監控圖表中的 Seconds_Behind_Master 指標顯示為 0,且 binlog 的延遲距離在不斷上升。

原理簡析

既然是分析延遲時間,那么自然先從延遲的計算方式開始入手。為了方便起見,此處引用官方版本 5.7.31 的源代碼進行閱讀。找到計算延遲時間的代碼:

./sql/rpl_slave.ccbool show_slave_status_send_data(THD *thd, Master_info *mi, char* io_gtid_set_buffer, char* sql_gtid_set_buffer)......if ((mi->get_master_log_pos() == mi->rli->get_group_master_log_pos()) &&(!strcmp(mi->get_master_log_name(), mi->rli->get_group_master_log_name()))) { if (mi->slave_running == MYSQL_SLAVE_RUN_CONNECT)protocol->store(0LL); elseprotocol->store_null(); } else { long time_diff= ((long)(time(0) - mi->rli->last_master_timestamp) - mi->clock_diff_with_master); protocol->store((longlong)(mi->rli->last_master_timestamp ? max(0L, time_diff) : 0)); }......

從 time_diff 的計算方式來看,可以發現這個延遲基本上就是一個時間差值,然后再算上主從之間的時間差。不過 if 挺多的,所以借用源代碼文件中的注釋:

/* The pseudo code to compute Seconds_Behind_Master: if (SQL thread is running) { if (SQL thread processed all the available relay log) { if (IO thread is running) print 0; else print NULL; }else compute Seconds_Behind_Master; } else print NULL; */

可以知道,Seconds_Behind_Master的計算分為兩個部分:

SQL 線程正常,且回放完所有的 relaylog 時,如果 IO 線程正常,那么直接置 0。 SQL 線程正常,且回放完所有的 relaylog 時,如果 IO 線程不正常,那么直接置 NULL。 SQL 線程正常,且沒有回放完所有的 relaylog 時,計算延遲時間。

那么在最后計算延遲時間的時候,看看那幾個變量代表的意義:

time(0):當前的時間戳,timestamp 格式的。 last_master_timestamp:這個 event 在主庫上執行的時刻,timestamp 格式。 clock_diff_with_master:slave 和 master 的時間差,在 IO 線程啟動時獲取的。

由此可見,延遲計算的時候,實際上是以 slave 本地的時間來減掉回放的這個 event 在 master 執行的時刻,再補償兩者之間的時間差,最后得到的一個數值。從邏輯上看是沒什么問題的,由于 time(0) 和 clock_diff_with_master 在大多數時候是沒有什么出問題的機會的,所以這次的問題,應該是出在 last_master_timestamp 上了。

PS:雖說大部分時候沒問題,但是 time(0) 取的是本地時間,因此 slave 的本地時間有問題的話,這個最終的值也會出錯,不過不在本案例的問題討論范圍之內了。

那么找一下執行 event 的時候,計算last_master_timestamp的邏輯,結合注釋可以發現普通復制和并行復制用了不同的計算方式,第一個是普通的復制,計算時間點在執行 event 之前:

./sql/rpl_slave.cc...... if (ev) { enum enum_slave_apply_event_and_update_pos_retval exec_res; ptr_ev= &ev; /* Even if we don’t execute this event, we keep the master timestamp, so that seconds behind master shows correct delta (there are events that are not replayed, so we keep falling behind). If it is an artificial event, or a relay log event (IO thread generated event) or ev->when is set to 0, or a FD from master, or a heartbeat event with server_id ’0’ then we don’t update the last_master_timestamp. In case of parallel execution last_master_timestamp is only updated when a job is taken out of GAQ. Thus when last_master_timestamp is 0 (which indicates that GAQ is empty, all slave workers are waiting for events from the Coordinator), we need to initialize it with a timestamp from the first event to be executed in parallel. */ if ((!rli->is_parallel_exec() || rli->last_master_timestamp == 0) && !(ev->is_artificial_event() || ev->is_relay_log_event() || (ev->common_header->when.tv_sec == 0) || ev->get_type_code() == binary_log::FORMAT_DESCRIPTION_EVENT || ev->server_id == 0)) { rli->last_master_timestamp= ev->common_header->when.tv_sec + (time_t) ev->exec_time; DBUG_ASSERT(rli->last_master_timestamp >= 0); }......

last_master_timestamp的值是取了 event 的開始時間并加上執行時間,在 5.7 中有不少 event 是沒有執行時間這個數值的,8.0 給很多 event 添加了這個數值,因此也算是升級 8.0 之后帶來的好處。

而并行復制的計算方式,參考如下這一段代碼:

./sql/rpl_slave.cc...... /* We need to ensure that this is never called at this point when cnt is zero. This value means that the checkpoint information will be completely reset. */ /* Update the rli->last_master_timestamp for reporting correct Seconds_behind_master. If GAQ is empty, set it to zero. Else, update it with the timestamp of the first job of the Slave_job_queue which was assigned in the Log_event::get_slave_worker() function. */ ts= rli->gaq->empty() ? 0 : reinterpret_cast<Slave_job_group*>(rli->gaq->head_queue())->ts; rli->reset_notified_checkpoint(cnt, ts, need_data_lock, true); /* end-of 'Coordinator::'commit_positions' */......

在 Coordinator 的 commit_positions 這個邏輯中,如果 gaq 隊列為空,那么last_master_timestamp直接置 0,否則會選擇 gaq 隊列的第一個 job 的時間戳。需要補充一點的是,這個計算并不是實時的,而是間歇性的,在計算邏輯前面,有如下的邏輯:

/* Currently, the checkpoint routine is being called by the SQL Thread. For that reason, this function is called call from appropriate points in the SQL Thread’s execution path and the elapsed time is calculated here to check if it is time to execute it. */ set_timespec_nsec(&curr_clock, 0); ulonglong diff= diff_timespec(&curr_clock, &rli->last_clock); if (!force && diff < period) { /* We do not need to execute the checkpoint now because the time elapsed is not enough. */ DBUG_RETURN(FALSE); }

即在這個 period 的時間間隔之內,會直接 return,并不會更新這個last_master_timestamp,所以有時候也會發現并行復制會時不時出現 Seconds_Behind_Master 在數值上從 0 到 1 的變化。

而 gaq 隊列的操作,估計是類似于入棧退棧的操作,所以留在 gaq 的總是沒有執行完的事務,因此時間計算從一般場景的角度來看是沒問題。

問題分析

原理簡析中簡要闡述了整個計算的邏輯,那么回到這個問題本身,騰訊云數據庫 MySQL 默認是開啟了并行復制的,因此會存在 gaq 隊列,而 alter 操作耗時非常的長,不論 alter 操作是否會被放在一組并行事務中執行(大概率,DDL 永遠是一個單獨的事務組),最終都會出現 gaq 隊列持續為空,那么就會把last_master_timestamp置 0,而參考 Seconds_Behind_Master 的計算邏輯,最終的 time_diff 也會被置 0,因此 alter 操作結束前的延遲時間一直會是 0。而當 alter 操作執行完之后,gaq 隊列會填充新的 event 和事務,所以會出現延遲之前一直是 0,但是突然跳到非常高的現象。

拓展一下

對比普通復制和并行復制計算方式上的差異,可以知道以下幾個特點:

開啟并行復制之后,延遲時間會經常性的在 0 和 1 之間跳變。 alter 操作,單個大事務等在并行復制的場景下容易導致延遲時間不準,而普通的復制方式不會。 由于主從時間差是在 IO 線程啟動時就計算好的,所以期間 slave 的時間出現偏差之后,延遲時間也會出現偏差。總結一下

嚴謹的延遲判斷,還是依靠 GTID 的差距和 binlog 的 position 差距會比較好,從 8.0 的 event 執行時間變化來看,至少 Oracle 官方還是在認真干活的,希望這些小毛病能盡快的修復吧。

以上就是MySQL 發生同步延遲時Seconds_Behind_Master還為0的原因的詳細內容,更多關于MySQL 同步延遲Seconds_Behind_Master為0的資料請關注好吧啦網其它相關文章!

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 精密五金加工厂-CNC数控车床加工_冲压件|蜗杆|螺杆加工「新锦泰」 | NBA直播_NBA直播免费观看直播在线_NBA直播免费高清无插件在线观看-24直播网 | 采暖炉_取暖炉_生物质颗粒锅炉_颗粒壁炉_厂家加盟批发_烟台蓝澳采暖设备有限公司 | 立式矫直机_卧式矫直机-无锡金矫机械制造有限公司 | 小学教案模板_中学教师优秀教案_高中教学设计模板_教育巴巴 | 高效复合碳源-多核碳源生产厂家-污水处理反硝化菌种一长隆科技库巴鲁 | 托利多电子平台秤-高精度接线盒-托利多高精度电子秤|百科 | 不锈钢电动球阀_气动高压闸阀_旋塞疏水调节阀_全立阀门-来自温州工业阀门巨头企业 | 全自动在线分板机_铣刀式在线分板机_曲线分板机_PCB分板机-东莞市亿协自动化设备有限公司 | 重庆监控_电子围栏设备安装公司_门禁停车场管理系统-劲浪科技公司 | 微量水分测定仪_厂家_卡尔费休微量水分测定仪-淄博库仑 | 哔咔漫画网页版在线_下载入口访问指引 | 吹田功率计-长创耐压测试仪-深圳市新朗普电子科技有限公司 | 天津热油泵_管道泵_天津高温热油泵-天津市金丰泰机械泵业有限公司【官方网站】 | 视觉检测设备_自动化检测设备_CCD视觉检测机_外观缺陷检测-瑞智光电 | 高压包-点火器-高压发生器-点火变压器-江苏天网 | 艾默生变频器,艾默生ct,变频器,ct驱动器,广州艾默生变频器,供水专用变频器,风机变频器,电梯变频器,艾默生变频器代理-广州市盟雄贸易有限公司官方网站-艾默生变频器应用解决方案服务商 | 不锈钢复合板厂家_钛钢复合板批发_铜铝复合板供应-威海泓方金属复合材料股份有限公司 | 全自动五线打端沾锡机,全自动裁线剥皮双头沾锡机,全自动尼龙扎带机-东莞市海文能机械设备有限公司 | 环氧树脂地坪漆_济宁市新天地漆业有限公司 | 砂磨机_立式纳米砂磨机_实验室砂磨机-广州儒佳化工设备厂家 | 耐高温风管_耐高温软管_食品级软管_吸尘管_钢丝软管_卫生级软管_塑料波纹管-东莞市鑫翔宇软管有限公司 | 英超直播_英超免费在线高清直播_英超视频在线观看无插件-24直播网 | 深圳办公室装修-写字楼装修设计-深圳标榜装饰公司 | LZ-373测厚仪-华瑞VOC气体检测仪-个人有毒气体检测仪-厂家-深圳市深博瑞仪器仪表有限公司 | 螺杆真空泵_耐腐蚀螺杆真空泵_水环真空泵_真空机组_烟台真空泵-烟台斯凯威真空 | 置顶式搅拌器-优莱博化学防爆冰箱-磁驱搅拌器-天津市布鲁克科技有限公司 | 铣刨料沥青破碎机-沥青再生料设备-RAP热再生混合料破碎筛分设备 -江苏锡宝重工 | 动物解剖台-成蚊接触筒-标本工具箱-负压实验台-北京哲成科技有限公司 | 无痕胶_可移胶_无痕双面胶带_可移无痕胶厂家-东莞凯峰 | 外贸网站建设-外贸网站设计制作开发公司-外贸独立站建设【企术】 | TPU薄膜_TPU薄膜生产厂家_TPU热熔胶膜厂家定制_鑫亘环保科技(深圳)有限公司 | 二手注塑机回收_旧注塑机回收_二手注塑机买卖 - 大鑫二手注塑机 二手光谱仪维修-德国OBLF光谱仪|进口斯派克光谱仪-热电ARL光谱仪-意大利GNR光谱仪-永晖检测 | 集装箱标准养护室-集装箱移动式养护室-广州璟业试验仪器有限公司 | 澳威全屋定制官网|极简衣柜十大品牌|衣柜加盟代理|全屋定制招商 百度爱采购运营研究社社群-店铺托管-爱采购代运营-良言多米网络公司 | 南京租车,南京汽车租赁,南京包车,南京会议租车-南京七熹租车 | 沈阳缠绕包装机厂家直销-沈阳海鹞托盘缠绕包装机价格 | 节流截止放空阀-不锈钢阀门-气动|电动截止阀-鸿华阀门有限公司 | 超声骨密度仪,双能X射线骨密度仪【起草单位】,骨密度检测仪厂家 - 品源医疗(江苏)有限公司 | 轻型地埋电缆故障测试仪,频响法绕组变形测试仪,静荷式卧式拉力试验机-扬州苏电 | 氟氨基酮、氯硝柳胺、2-氟苯甲酸、异香兰素-新晨化工 |