电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL大庫搭建主從的一種思路分享

瀏覽:51日期:2023-10-04 14:15:16

這個周忙的就像打仗一樣,感覺有點被別人牽著鼻子走了,每天都是早出晚歸,干不完的活兒,有時候感覺DBA這碗飯真的不好吃,要有強大的抗壓能力和心理承受能力。今天下午吃飯的時候,真的感覺整個人快要垮掉了,吃完飯就依然決然的下班了,走在路上,看著下班的人群,心想這不就是正常的下班時間么,為什么我還有種早走慚愧的感覺?可能整個人都被洗腦了吧。

這個周的公眾號內(nèi)容更新也是耽擱了兩天,周二那天實在是太累了,就直接休息了。 昨晚要走的時候,大概九點多,工作了一天比較累,然后就大腦不聽使喚,弄了一個故障,把線上一臺環(huán)境的賬號權(quán)限表給刪掉了,然后發(fā)現(xiàn)那套環(huán)境還是個新的,沒有進行備份,我了個蒼天,當時感覺天都快塌了,幸好我平時有保留變更的習慣,在自己的txt文件里面找到了之前給業(yè)務方開過的一些賬號權(quán)限,花了兩個小時給修復了,期間包括測試服務是否可用,同步是否及時等等?;貋硪豢磿r間,已經(jīng)是十一點半了,趕緊抓時間寫公眾號,結(jié)果呢,寫完的時候已經(jīng)零點六分了,就索性沒有更新公眾號。

這種感覺真的很不好,不知道在哪兒看到過一句話,“毀掉一個ITer最好的方式,就是讓他忙到?jīng)]有時間成長”,我現(xiàn)在感覺自己就在這種惡性循環(huán)當中,又想起一個哥們兒給我說過的話,“埋頭給公司拉車的時候,要時不時抬頭看看前方的路。”

希望能夠快速調(diào)整過來,我相信在北漂的人一定有一些跟我相同的感觸,對于忙碌可能大家都有自己的定義,在這一點上我想可能和一些公眾號的觀眾能夠?qū)崿F(xiàn)共鳴^_^。

廢話也說了那么多了,光抱怨也解決不了問題,還是把目光放在當下吧,寫點兒有用的東西,希望對大家有所幫助,也算是自己的一個整理吧。

大庫搭建主從的一種方式

今天早上去公司,遇到了一個問題,就是報警信息中顯示一個分布式的集群中的一些主從關系down掉了,也就是從庫斷開了,然后查看了一下原因,是因為業(yè)務方和另外一個同事在同時對主庫進行數(shù)據(jù)導入,而這兩個人所做的操作是有依賴關系的,而且都包含大量事務,由于產(chǎn)生了沖突,事務進行了回滾,而從庫上發(fā)現(xiàn)要回滾的數(shù)據(jù)已經(jīng)不存在了,所以就導致了從庫的斷開。

看到這個問題,我先嘗試著修復了一下從庫,因為是使用gtid搭建的主從復制,所以就嘗試著使用set next gtid的方法修復了一下,具體方法可以在gtid那篇文章中看一下,文章在公眾號底部有分類。然后begin;commit;設置自動gtid之后發(fā)現(xiàn)修復好了,但是過了大概五分鐘,就又不行了,很顯然,這個方法不是個長久之計,而業(yè)務方那邊的數(shù)據(jù)還有很多沒有流進來。最終考慮了各種方案之后,不得已而為之,重新搭建從庫。

我查看了一下主庫的數(shù)據(jù)量,大概100G左右吧,我想到的兩種直觀的方法如下:

1、直接備份在服務器上

2、備份在遠程nfs掛載備份機里面

來看這兩種方法,服務器本身沒有那么多剩余的空間可供使用,強行備份也可以,但是會導致磁盤報警,這肯定不是一個好的方法。況且要是使用xtrabackup的方法去搞,apply log和copy back這兩步花費的時間相當長。

再來看遠程nfs備份機,備份機容量很大,解決了磁盤問題,但是遠程傳輸需要的帶寬是無法提供的,如果并行進行備份,那么帶寬肯定是不夠的,并發(fā)的備份進程都會比較慢,保守估計5套主從應該需要8個小時左右。

那么怎么辦呢?這里使用了一種比較粗暴的方法,直接跟業(yè)務方溝通,暫時把服務停了,打通了兩個機器的ssh互信,配置了scp工具,直接通過物理文件拷貝的方式給吧文件復制到從庫去,也不進行壓縮了,因為100G的文件壓縮和解壓需要大量的時間。這樣做的好處有下面幾個:

第一:各個備份之間解耦合,不受其他環(huán)境的影響。

第二:可以通過機器之間的帶寬導入主庫上的原生文件到從庫,能夠保證數(shù)據(jù)的完全一致。

第三:時間比較快

于是就這么做了,大概看了一下,100G的文件scp拷貝的話大概就17分鐘左右,這樣就解決了備份時間長的問題。并行5個窗口,互不影響,也就30分鐘左右,5套環(huán)境的數(shù)據(jù)就過去了?,F(xiàn)在主庫和從庫的數(shù)據(jù)已經(jīng)完全一致了,現(xiàn)在開始搭建從庫,需要做的事情有以下幾個:

1、將從庫中原來的my.cnf文件替換拷貝過來的主庫的my.cnf文件,否則server_id將會重復,導致搭建主從報錯。

2、將從庫中原來的slave-relay-log.index文件拷貝到新目錄下面,否則搭建主從的時候,會提示無法找到這個文件。

3、改變一下從庫的UUID,這個玩意兒在搭建GTID復制的時候需要使用,主從環(huán)境不能重復,否則會導致服務不可用,這個UUID的變更,一般是在auto.cnf文件中,這個文件保存的是當前庫的UUID值。

4、在從庫上reset slave all,然后使用auto_position=1的復制方式搭建主從復制,搭建好主從之后,校驗主從數(shù)據(jù)的一致性。

5、在搭建好的從庫上設置read-only選項,禁止從庫上直接執(zhí)行DML操作

以上就是MySQL大庫搭建主從的一種思路分享的詳細內(nèi)容,更多關于MySQL大庫搭建主從的資料請關注好吧啦網(wǎng)其它相關文章!

相關文章:
主站蜘蛛池模板: 济南宣传册设计-画册设计_济南莫都品牌设计公司 | 液氮罐_液氮容器_自增压液氮罐-北京君方科仪科技发展有限公司 | 全自动包衣机-无菌分装隔离器-浙江迦南科技股份有限公司 | 温湿度记录纸_圆盘_横河记录纸|霍尼韦尔记录仪-广州汤米斯机电设备有限公司 | 定时排水阀/排气阀-仪表三通旋塞阀-直角式脉冲电磁阀-永嘉良科阀门有限公司 | 安徽华耐泵阀有限公司-官方网站| 温州中研白癜风专科_温州治疗白癜风_温州治疗白癜风医院哪家好_温州哪里治疗白癜风 | 山东活动策划|济南活动公司|济南公关活动策划-济南锐嘉广告有限公司 | 地埋式垃圾站厂家【佳星环保】小区压缩垃圾中转站转运站 | RTO换向阀_VOC高温阀门_加热炉切断阀_双偏心软密封蝶阀_煤气蝶阀_提升阀-湖北霍科德阀门有限公司 | 品牌设计_VI设计_电影海报设计_包装设计_LOGO设计-Bacross新越品牌顾问 | 全自动五线打端沾锡机,全自动裁线剥皮双头沾锡机,全自动尼龙扎带机-东莞市海文能机械设备有限公司 | 体感VRAR全息沉浸式3D投影多媒体展厅展会游戏互动-万展互动 | 气力输送设备_料封泵_仓泵_散装机_气化板_压力释放阀-河南锐驰机械设备有限公司 | 400电话_400电话申请_866元/年_【400电话官方业务办理】-俏号网 3dmax渲染-效果图渲染-影视动画渲染-北京快渲科技有限公司 | 工业硝酸钠,硝酸钠厂家-淄博「文海工贸」 | 不锈钢轴流风机,不锈钢电机-许昌光维防爆电机有限公司(原许昌光维特种电机技术有限公司) | 高精度-恒温冷水机-螺杆式冰水机-蒸发冷冷水机-北京蓝海神骏科技有限公司 | pH污水传感器电极,溶解氧电极传感器-上海科蓝仪表科技有限公司 | 聚合氯化铝价格_聚合氯化铝厂家_pac絮凝剂-唐达净水官网 | 长沙广告公司|长沙广告制作设计|长沙led灯箱招牌制作找望城湖南锦蓝广告装饰工程有限公司 | 淋巴细胞分离液_口腔医疗器材-精欣华医疗器械(无锡)有限公司 | 不锈钢/气体/液体玻璃转子流量计(防腐,选型,规格)-常州天晟热工仪表有限公司【官网】 | AGV叉车|无人叉车|AGV智能叉车|AGV搬运车-江西丹巴赫机器人股份有限公司 | 干法制粒机_智能干法制粒机_张家港市开创机械制造有限公司 | 铝合金电阻-无源谐波滤波器-上海稳达电讯设备厂 | 粉末冶金注射成型厂家|MIM厂家|粉末冶金齿轮|MIM零件-深圳市新泰兴精密科技 | 吲哚菁绿衍生物-酶底物法大肠菌群检测试剂-北京和信同通科技发展有限公司 | 北京网站建设|北京网站开发|北京网站设计|高端做网站公司 | 胶水,胶粘剂,AB胶,环氧胶,UV胶水,高温胶,快干胶,密封胶,结构胶,电子胶,厌氧胶,高温胶水,电子胶水-东莞聚力-聚厉胶粘 | 上海心叶港澳台联考一对一培训_上海心叶港澳台联考,港澳台联考一对一升学指导 | 带式压滤机_污泥压滤机_污泥脱水机_带式过滤机_带式压滤机厂家-河南恒磊环保设备有限公司 | 压缩空气冷冻式干燥机_吸附式干燥机_吸干机_沪盛冷干机 | 环氧乙烷灭菌器_压力蒸汽灭菌器_低温等离子过氧化氢灭菌器 _低温蒸汽甲醛灭菌器_清洗工作站_医用干燥柜_灭菌耗材-环氧乙烷灭菌器_脉动真空压力蒸汽灭菌器_低温等离子灭菌设备_河南省三强医疗器械有限责任公司 | 广州云仓代发-昊哥云仓专业电商仓储托管外包代发货服务 | 3d打印服务,3d打印汽车,三维扫描,硅胶复模,手板,快速模具,深圳市精速三维打印科技有限公司 | 探鸣起名网-品牌起名-英文商标起名-公司命名-企业取名包满意 | 台湾阳明固态继电器-奥托尼克斯光电传感器-接近开关-温控器-光纤传感器-编码器一级代理商江苏用之宜电气 | 环氧树脂地坪漆_济宁市新天地漆业有限公司| arch电源_SINPRO_开关电源_模块电源_医疗电源-东佑源 | 雄松华章(广州华章MBA)官网-专注MBA/MPA/MPAcc/MEM辅导培训 |