电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL大庫搭建主從的一種思路分享

瀏覽:52日期:2023-10-04 14:15:16

這個周忙的就像打仗一樣,感覺有點被別人牽著鼻子走了,每天都是早出晚歸,干不完的活兒,有時候感覺DBA這碗飯真的不好吃,要有強大的抗壓能力和心理承受能力。今天下午吃飯的時候,真的感覺整個人快要垮掉了,吃完飯就依然決然的下班了,走在路上,看著下班的人群,心想這不就是正常的下班時間么,為什么我還有種早走慚愧的感覺?可能整個人都被洗腦了吧。

這個周的公眾號內容更新也是耽擱了兩天,周二那天實在是太累了,就直接休息了。 昨晚要走的時候,大概九點多,工作了一天比較累,然后就大腦不聽使喚,弄了一個故障,把線上一臺環境的賬號權限表給刪掉了,然后發現那套環境還是個新的,沒有進行備份,我了個蒼天,當時感覺天都快塌了,幸好我平時有保留變更的習慣,在自己的txt文件里面找到了之前給業務方開過的一些賬號權限,花了兩個小時給修復了,期間包括測試服務是否可用,同步是否及時等等。回來一看時間,已經是十一點半了,趕緊抓時間寫公眾號,結果呢,寫完的時候已經零點六分了,就索性沒有更新公眾號。

這種感覺真的很不好,不知道在哪兒看到過一句話,“毀掉一個ITer最好的方式,就是讓他忙到沒有時間成長”,我現在感覺自己就在這種惡性循環當中,又想起一個哥們兒給我說過的話,“埋頭給公司拉車的時候,要時不時抬頭看看前方的路。”

希望能夠快速調整過來,我相信在北漂的人一定有一些跟我相同的感觸,對于忙碌可能大家都有自己的定義,在這一點上我想可能和一些公眾號的觀眾能夠實現共鳴^_^。

廢話也說了那么多了,光抱怨也解決不了問題,還是把目光放在當下吧,寫點兒有用的東西,希望對大家有所幫助,也算是自己的一個整理吧。

大庫搭建主從的一種方式

今天早上去公司,遇到了一個問題,就是報警信息中顯示一個分布式的集群中的一些主從關系down掉了,也就是從庫斷開了,然后查看了一下原因,是因為業務方和另外一個同事在同時對主庫進行數據導入,而這兩個人所做的操作是有依賴關系的,而且都包含大量事務,由于產生了沖突,事務進行了回滾,而從庫上發現要回滾的數據已經不存在了,所以就導致了從庫的斷開。

看到這個問題,我先嘗試著修復了一下從庫,因為是使用gtid搭建的主從復制,所以就嘗試著使用set next gtid的方法修復了一下,具體方法可以在gtid那篇文章中看一下,文章在公眾號底部有分類。然后begin;commit;設置自動gtid之后發現修復好了,但是過了大概五分鐘,就又不行了,很顯然,這個方法不是個長久之計,而業務方那邊的數據還有很多沒有流進來。最終考慮了各種方案之后,不得已而為之,重新搭建從庫。

我查看了一下主庫的數據量,大概100G左右吧,我想到的兩種直觀的方法如下:

1、直接備份在服務器上

2、備份在遠程nfs掛載備份機里面

來看這兩種方法,服務器本身沒有那么多剩余的空間可供使用,強行備份也可以,但是會導致磁盤報警,這肯定不是一個好的方法。況且要是使用xtrabackup的方法去搞,apply log和copy back這兩步花費的時間相當長。

再來看遠程nfs備份機,備份機容量很大,解決了磁盤問題,但是遠程傳輸需要的帶寬是無法提供的,如果并行進行備份,那么帶寬肯定是不夠的,并發的備份進程都會比較慢,保守估計5套主從應該需要8個小時左右。

那么怎么辦呢?這里使用了一種比較粗暴的方法,直接跟業務方溝通,暫時把服務停了,打通了兩個機器的ssh互信,配置了scp工具,直接通過物理文件拷貝的方式給吧文件復制到從庫去,也不進行壓縮了,因為100G的文件壓縮和解壓需要大量的時間。這樣做的好處有下面幾個:

第一:各個備份之間解耦合,不受其他環境的影響。

第二:可以通過機器之間的帶寬導入主庫上的原生文件到從庫,能夠保證數據的完全一致。

第三:時間比較快

于是就這么做了,大概看了一下,100G的文件scp拷貝的話大概就17分鐘左右,這樣就解決了備份時間長的問題。并行5個窗口,互不影響,也就30分鐘左右,5套環境的數據就過去了。現在主庫和從庫的數據已經完全一致了,現在開始搭建從庫,需要做的事情有以下幾個:

1、將從庫中原來的my.cnf文件替換拷貝過來的主庫的my.cnf文件,否則server_id將會重復,導致搭建主從報錯。

2、將從庫中原來的slave-relay-log.index文件拷貝到新目錄下面,否則搭建主從的時候,會提示無法找到這個文件。

3、改變一下從庫的UUID,這個玩意兒在搭建GTID復制的時候需要使用,主從環境不能重復,否則會導致服務不可用,這個UUID的變更,一般是在auto.cnf文件中,這個文件保存的是當前庫的UUID值。

4、在從庫上reset slave all,然后使用auto_position=1的復制方式搭建主從復制,搭建好主從之后,校驗主從數據的一致性。

5、在搭建好的從庫上設置read-only選項,禁止從庫上直接執行DML操作

以上就是MySQL大庫搭建主從的一種思路分享的詳細內容,更多關于MySQL大庫搭建主從的資料請關注好吧啦網其它相關文章!

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 上海橡胶接头_弹簧减震器_金属软接头厂家-上海淞江集团 | 印刷人才网 印刷、包装、造纸,中国80%的印刷企业人才招聘选印刷人才网! | Trimos测长机_测高仪_TESA_mahr,WYLER水平仪,PWB对刀仪-德瑞华测量技术(苏州)有限公司 | 电气控制系统集成商-PLC控制柜变频控制柜-非标自动化定制-电气控制柜成套-NIDEC CT变频器-威肯自动化控制 | ET3000双钳形接地电阻测试仪_ZSR10A直流_SXJS-IV智能_SX-9000全自动油介质损耗测试仪-上海康登 | 郑州律师咨询-郑州律师事务所_河南锦盾律师事务所 | 建筑资质代办-建筑企业资质代办机构-建筑资质代办公司 | 济南品牌包装设计公司_济南VI标志设计公司_山东锐尚文化传播 | 防火门|抗爆门|超大门|医疗门|隔声门-上海加汇门业生产厂家 | 废旧物资回收公司_广州废旧设备回收_报废设备物资回收-益美工厂设备回收公司 | 数显恒温油浴-电砂浴-高温油浴振荡器-常州迈科诺仪器有限公司 | 电磁铁_推拉电磁铁_机械手电磁吸盘电磁铁厂家-广州思德隆电子公司 | 荣事达手推洗地机_洗地机厂家_驾驶式扫地机_工业清洁设备 | 电动垃圾车,垃圾清运车-江苏速利达机车有限公司 | DNA亲子鉴定_DNA基因检测中心官方预约平台-严选好基因网 | 自动钻孔机-全自动数控钻孔机生产厂家-多米(广东)智能装备有限公司 | 艺术涂料|木纹漆施工|稻草漆厂家|马来漆|石桦奴|水泥漆|选加河南天工涂料 | 噪声治理公司-噪音治理专业隔音降噪公司 | 北京银联移动POS机办理_收银POS机_智能pos机_刷卡机_收银系统_个人POS机-谷骐科技【官网】 | 钢制拖链生产厂家-全封闭钢制拖链-能源钢铝拖链-工程塑料拖链-河北汉洋机械制造有限公司 | 石牌坊价格石牌坊雕刻制作_石雕牌坊牌楼石栏杆厂家_山东嘉祥石雕有限公司 | 砂尘试验箱_淋雨试验房_冰水冲击试验箱_IPX9K淋雨试验箱_广州岳信试验设备有限公司 | 合肥办公室装修 - 合肥工装公司 - 天思装饰 | 万师讲师网-优质讲师培训师供应商,讲师认证,找讲师来万师 | 施工围挡-施工PVC围挡-工程围挡-深圳市旭东钢构技术开发有限公司 | 珠海白蚁防治_珠海灭鼠_珠海杀虫灭鼠_珠海灭蟑螂_珠海酒店消杀_珠海工厂杀虫灭鼠_立净虫控防治服务有限公司 | 海尔生物医疗四川代理商,海尔低温冰箱四川销售-成都壹科医疗器械有限公司 | 吨袋包装机|吨包秤|吨包机|集装袋包装机-烟台华恩科技 | 深圳货架厂_仓库货架公司_重型仓储货架_线棒货架批发-深圳市诺普泰仓储设备有限公司 | 防水套管-柔性防水套管-刚性防水套管-上海执品管件有限公司 | 微型气象仪_气象传感器_防爆气象传感器-天合传感器大全 | 蜂蜜瓶-玻璃瓶-玻璃瓶厂-玻璃瓶生产厂家-徐州贵邦玻璃制品有限公司 | 课件导航网_ppt课件_课件模板_课件下载_最新课件资源分享发布平台 | 江苏远邦专注皮带秤,高精度皮带秤,电子皮带秤研发生产 | 深圳法律咨询【24小时在线】深圳律师咨询免费 | 万师讲师网-优质讲师培训师供应商,讲师认证,找讲师来万师 | 胀套-锁紧盘-风电锁紧盘-蛇形联轴器「厂家」-瑞安市宝德隆机械配件有限公司 | 济南侦探调查-济南调查取证-山东私家侦探-山东白豹调查咨询公司 密集架|电动密集架|移动密集架|黑龙江档案密集架-大量现货厂家销售 | 软启动器-上海能曼电气有限公司 真空搅拌机-行星搅拌机-双行星动力混合机-广州市番禺区源创化工设备厂 | 磁力去毛刺机_去毛刺磁力抛光机_磁力光饰机_磁力滚抛机_精密金属零件去毛刺机厂家-冠古科技 | 广州食堂承包_广州团餐配送_广州堂食餐饮服务公司 - 旺记餐饮 |