电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL 分表分庫怎么進行數據切分

瀏覽:14日期:2023-10-04 16:48:53

關系型數據庫本身比較容易成為系統瓶頸,單機存儲容量、連接數、處理能力都有限。當單表的數據量達到1000W或100G以后,由于查詢維度較多,即使添加從庫、優化索引,做很多操作時性能仍下降嚴重。此時就要考慮對其進行切分了,切分的目的就在于減少數據庫的負擔,縮短查詢時間。

數據庫分布式核心內容無非就是數據切分(Sharding)以及切分后對數據的定位、整合。數據切分就是將數據分散存儲到多個數據庫中,使得單一數據庫中的數據量變小,通過擴充主機的數量緩解單一數據庫的性能問題,從而達到提升數據庫操作性能的目的。

數據切分根據其切分類型,可以分為兩種方式:垂直(縱向)切分和水平(橫向)切分。

1.垂直(縱向)切分

垂直切分常見有垂直分庫和垂直分表兩種。

1.1 垂直分庫

就是根據業務耦合性,將關聯度低的不同表存儲在不同的數據庫。做法與大系統拆分為多個小系統類似,按業務

分類進行獨立劃分。與'微服務治理'的做法相似,每個微服務使用單獨的一個數據庫。如圖:

MySQL 分表分庫怎么進行數據切分

將不同模塊的數據表分庫存儲。模塊間不相互關聯查詢

如果有,就需要通過數據冗余或者應層二次加工來解決。這種業務方法和數據結構最清晰。但若不能杜絕跨庫關聯查詢,宣告此路不同

1.2 垂直分表

是基于數據庫中的'列'進行,某個表字段較多,可以新建一張擴展表,將不經常用或字段長度較大的字段拆分出去到擴展表中。在字段很多的情況下(例如一個大表有100多個字段),通過'大表拆小表',更便于開發與維護,也能避免跨頁問題,MySQL底層是通過數據頁存儲的,一條記錄占用空間過大會導致跨頁,造成額外的性能開銷。另外數據庫以行為單位將數據加載到內存中,這樣表中字段長度較短且訪問頻率較高,內存能加載更多的數據,命中率更高,減少了磁盤IO,從而提升了數據庫性能。

MySQL 分表分庫怎么進行數據切分

垂直切分的優點:

解決業務系統層面的耦合,業務清晰 與微服務的治理類似,也能對不同業務的數據進行分級管理、維護、監控、擴展等 高并發場景下,垂直切分一定程度的提升IO、數據庫連接數、單機硬件資源的瓶頸

缺點:

部分表無法join,只能通過接口聚合方式解決,提升了開發的復雜度 分布式事務處理復雜 依然存在單表數據量過大的問題(需要水平切分)2. 水平(橫向)切分

當一個應用難以再細粒度的垂直切分,或切分后數據量行數巨大,存在單庫讀寫、存儲性能瓶頸,這時候就需要進行水平切分了。

水平切分分為庫內分表和分庫分表,是根據表內數據內在的邏輯關系,將同一個表按不同的條件分散到多個數據庫或多個表中,每個表中只包含一部分數據,從而使得單個表的數據量變小,達到分布式的效果。如圖所示:

MySQL 分表分庫怎么進行數據切分

相對縱向切分這一將表分類的做法,此法是按表內每個字段的某個規則來將數據分散存儲于不同的數據庫(或不同的表),也就是按照數行來進行切分數據。

庫內分表只解決了單一表數據量過大的問題,但沒有將表分布到不同機器的庫上,因此對于減輕MySQL數據庫的壓力來說,幫助不是很大,大家還是競爭同一個物理機的CPU、內存、網絡IO,最好通過分庫分表來解決。

水平切分的優點:

不存在單庫數據量過大、高并發的性能瓶頸,提升系統穩定性和負載能力 應用端改造較小,不需要拆分業務模塊

缺點:

跨分片的事務一致性難以保證 跨庫的join關聯查詢性能較差 數據多次擴展難度和維護量極大

水平切分后同一張表會出現在多個數據庫/表中,每個庫/表的內容不同。幾種典型的數據分片規則為:

2.1 根據數值范圍

按照時間區間或ID區間來切分。例如:按日期將不同月甚至是日的數據分散到不同的庫中;將userId為1~9999的記錄分到第一個庫,10000~20000的分到第二個庫,以此類推。某種意義上,某些系統中使用的'冷熱數據分離',將一些使用較少的歷史數據遷移到其他庫中,業務功能上只提供熱點數據的查詢,也是類似的實踐。

這樣的優點在于:

單表大小可控 天然便于水平擴展,后期如果想對整個分片集群擴容時,只需要添加節點即可,無需對其他分片的數據進行遷移 使用分片字段進行范圍查找時,連續分片可快速定位分片進行快速查詢,有效避免跨分片查詢的問題。

缺點:

熱點數據成為性能瓶頸。連續分片可能存在數據熱點,例如按時間字段分片,有些分片存儲最近時間段內的數據,可能會被頻繁的讀寫,而有些分片存儲的歷史數據,則很少被查詢

MySQL 分表分庫怎么進行數據切分

2.2 根據數值取模

一般采用hash取模mod的切分方式,例如:將 Customer 表根據 cusno 字段切分到4個庫中,余數為0的放到第一個庫,余數為1的放到第二個庫,以此類推。這樣同一個用戶的數據會分散到同一個庫中,如果查詢條件帶有cusno字段,則可明確定位到相應庫去查詢。

優點:

數據分片相對比較均勻,不容易出現熱點和并發訪問的瓶頸

缺點:

后期分片集群擴容時,需要遷移舊的數據(使用一致性hash算法能較好的避免這個問題) 容易面臨跨分片查詢的復雜問題。比如上例中,如果頻繁用到的查詢條件中不帶cusno時,將會導致無法定位數據庫,從而需要同時向4個庫發起查詢,再在內存中合并數據,取最小集返回給應用,分庫反而成為拖累。

MySQL 分表分庫怎么進行數據切分

以上就是MySQL 分表分庫怎么進行數據切分的詳細內容,更多關于MySQL 分表分庫進行數據切分的資料請關注好吧啦網其它相關文章!

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 测试治具|过炉治具|过锡炉治具|工装夹具|测试夹具|允睿自动化设备 | 手机存放柜,超市储物柜,电子储物柜,自动寄存柜,行李寄存柜,自动存包柜,条码存包柜-上海天琪实业有限公司 | 高压贴片电容|贴片安规电容|三端滤波器|风华电容代理南京南山 | 电子巡更系统-巡检管理系统-智能巡检【金万码】 | 防堵吹扫装置-防堵风压测量装置-电动操作显示器-兴洲仪器 | 南京精锋制刀有限公司-纵剪机刀片_滚剪机刀片_合金刀片厂家 | 薪动-人力资源公司-灵活用工薪资代发-费用结算-残保金优化-北京秒付科技有限公司 | 无缝钢管-聊城无缝钢管-小口径无缝钢管-大口径无缝钢管 - 聊城宽达钢管有限公司 | 红外光谱仪维修_二手红外光谱仪_红外压片机_红外附件-天津博精仪器 | 打包箱房_集成房屋-山东佳一集成房屋有限公司 | 鲁尔圆锥接头多功能测试仪-留置针测试仪-上海威夏环保科技有限公司 | 无轨电动平车_轨道平车_蓄电池电动平车★尽在新乡百特智能转运设备有限公司 | 游泳池设计|设备|配件|药品|吸污机-东莞市太平洋康体设施有限公司 | 阻垢剂,反渗透阻垢剂,缓蚀阻垢剂-山东普尼奥水处理科技有限公司 真空粉体取样阀,电动楔式闸阀,电动针型阀-耐苛尔(上海)自动化仪表有限公司 | 三效蒸发器_多效蒸发器价格_四效三效蒸发器厂家-青岛康景辉 | 执业药师报名时间,报考条件,考试时间-首页入口 | 有机废气处理-rto焚烧炉-催化燃烧设备-VOC冷凝回收装置-三梯环境 | 企业微信营销_企业微信服务商_私域流量运营_艾客SCRM官网 | 流量检测仪-气密性检测装置-密封性试验仪-东莞市奥图自动化科技有限公司 | 外贮压-柜式-悬挂式-七氟丙烷-灭火器-灭火系统-药剂-价格-厂家-IG541-混合气体-贮压-非贮压-超细干粉-自动-灭火装置-气体灭火设备-探火管灭火厂家-东莞汇建消防科技有限公司 | 匀胶机旋涂仪-声扫显微镜-工业水浸超声-安赛斯(北京)科技有限公司 | 上海地磅秤|电子地上衡|防爆地磅_上海地磅秤厂家–越衡称重 | Copeland/谷轮压缩机,谷轮半封闭压缩机,谷轮涡旋压缩机,型号规格,技术参数,尺寸图片,价格经销商 CTP磁天平|小电容测量仪|阴阳极极化_双液系沸点测定仪|dsj电渗实验装置-南京桑力电子设备厂 | 广东燎了网络科技有限公司官网-网站建设-珠海网络推广-高端营销型外贸网站建设-珠海专业h5建站公司「了了网」 | 全钢实验台,实验室工作台厂家-无锡市辰之航装饰材料有限公司 | 焊缝跟踪系统_激光位移传感器_激光焊缝跟踪传感器-创想智控 | 【北京写字楼出租_写字楼租赁_办公室出租网/出售】-远行地产官网 | 天空彩票天下彩,天空彩天空彩票免费资料,天空彩票与你同行开奖,天下彩正版资料大全 | 河南新乡德诚生产厂家主营震动筛,振动筛设备,筛机,塑料震动筛选机 | 便携式XPDM露点仪-在线式防爆露点仪-增强型烟气分析仪-约克仪器 冰雕-冰雪世界-大型冰雕展制作公司-赛北冰雕官网 | 生物制药洁净车间-GMP车间净化工程-食品净化厂房-杭州波涛净化设备工程有限公司 | 上海橡胶接头_弹簧减震器_金属软接头厂家-上海淞江集团 | 芜湖厨房设备_芜湖商用厨具_芜湖厨具设备-芜湖鑫环厨具有限公司 控显科技 - 工控一体机、工业显示器、工业平板电脑源头厂家 | wika威卡压力表-wika压力变送器-德国wika代理-威卡总代-北京博朗宁科技 | Eiafans.com_环评爱好者 环评网|环评论坛|环评报告公示网|竣工环保验收公示网|环保验收报告公示网|环保自主验收公示|环评公示网|环保公示网|注册环评工程师|环境影响评价|环评师|规划环评|环评报告|环评考试网|环评论坛 - Powered by Discuz! | 注浆压力变送器-高温熔体传感器-矿用压力传感器|ZHYQ朝辉 | 手机游戏_热门软件app下载_好玩的安卓游戏下载基地-吾爱下载站 | 广州冷却塔维修厂家_冷却塔修理_凉水塔风机电机填料抢修-广东康明节能空调有限公司 | 活性炭-蜂窝-椰壳-柱状-粉状活性炭-河南唐达净水材料有限公司 | 北京遮阳网-防尘盖土网-盖土草坪-迷彩网-防尘网生产厂家-京兴科技 | 吉林污水处理公司,长春工业污水处理设备,净水设备-长春易洁环保科技有限公司 |