Mysql在大型網(wǎng)站的應(yīng)用架構(gòu)演變
本文主要描述在網(wǎng)站的不同的并發(fā)訪問量級下,Mysql架構(gòu)的演變
可擴(kuò)展性架構(gòu)的可擴(kuò)展性往往和并發(fā)是息息相關(guān),沒有并發(fā)的增長,也就沒有必要做高可擴(kuò)展性的架構(gòu),這里對可擴(kuò)展性進(jìn)行簡單介紹一下,常用的擴(kuò)展手段有以下兩種
Scale-up : 縱向擴(kuò)展,通過替換為更好的機(jī)器和資源來實現(xiàn)伸縮,提升服務(wù)能力
Scale-out : 橫向擴(kuò)展, 通過加節(jié)點(機(jī)器)來實現(xiàn)伸縮,提升服務(wù)能力
對于互聯(lián)網(wǎng)的高并發(fā)應(yīng)用來說,無疑Scale out才是出路,通過縱向的買更高端的機(jī)器一直是我們所避諱的問題,也不是長久之計,在scale out的理論下,可擴(kuò)展性的理想狀態(tài)是什么?
可擴(kuò)展性的理想狀態(tài)一個服務(wù),當(dāng)面臨更高的并發(fā)的時候,能夠通過簡單增加機(jī)器來提升服務(wù)支撐的并發(fā)度,且增加機(jī)器過程中對線上服務(wù)無影響(no down time),這就是可擴(kuò)展性的理想狀態(tài)!
架構(gòu)的演變V1.0 簡單網(wǎng)站架構(gòu)一個簡單的小型網(wǎng)站或者應(yīng)用背后的架構(gòu)可以非常簡單, 數(shù)據(jù)存儲只需要一個mysql instance就能滿足數(shù)據(jù)讀取和寫入需求(這里忽略掉了數(shù)據(jù)備份的實例),處于這個時間段的網(wǎng)站,一般會把所有的信息存到一個database instance里面。
在這樣的架構(gòu)下,我們來看看數(shù)據(jù)存儲的瓶頸是什么?
1.數(shù)據(jù)量的總大小 一個機(jī)器放不下時
2.數(shù)據(jù)的索引(B+ Tree)一個機(jī)器的內(nèi)存放不下時
3.訪問量(讀寫混合)一個實例不能承受
只有當(dāng)以上3件事情任何一件或多件滿足時,我們才需要考慮往下一級演變。 從此我們可以看出,事實上對于很多小公司小應(yīng)用,這種架構(gòu)已經(jīng)足夠滿足他們的需求了,初期數(shù)據(jù)量的準(zhǔn)確評估是杜絕過度設(shè)計很重要的一環(huán),畢竟沒有人愿意為不可能發(fā)生的事情而浪費自己的經(jīng)歷。
這里簡單舉個我的例子,對于用戶信息這類表 (3個索引),16G內(nèi)存能放下大概2000W行數(shù)據(jù)的索引,簡單的讀和寫混合訪問量3000/s左右沒有問題,你的應(yīng)用場景是否
V2.0 垂直拆分一般當(dāng)V1.0 遇到瓶頸時,首先最簡便的拆分方法就是垂直拆分,何謂垂直?就是從業(yè)務(wù)角度來看,將關(guān)聯(lián)性不強(qiáng)的數(shù)據(jù)拆分到不同的instance上,從而達(dá)到消除瓶頸的目標(biāo)。以圖中的為例,將用戶信息數(shù)據(jù),和業(yè)務(wù)數(shù)據(jù)拆分到不同的三個實例上。對于重復(fù)讀類型比較多的場景,我們還可以加一層cache,來減少對DB的壓力。
在這樣的架構(gòu)下,我們來看看數(shù)據(jù)存儲的瓶頸是什么?
1.單實例單業(yè)務(wù) 依然存在V1.0所述瓶頸
遇到瓶頸時可以考慮往本文更高V版本升級, 若是讀請求導(dǎo)致達(dá)到性能瓶頸可以考慮往V3.0升級, 其他瓶頸考慮往V4.0升級
V3.0 主從架構(gòu)此類架構(gòu)主要解決V2.0架構(gòu)下的讀問題,通過給Instance掛數(shù)據(jù)實時備份的思路來遷移讀取的壓力,在Mysql的場景下就是通過主從結(jié)構(gòu),主庫抗寫壓力,通過從庫來分擔(dān)讀壓力,對于寫少讀多的應(yīng)用,V3.0主從架構(gòu)完全能夠勝任
在這樣的架構(gòu)下,我們來看看數(shù)據(jù)存儲的瓶頸是什么?
1.寫入量主庫不能承受
V4.0 水平拆分對于V2.0 V3.0方案遇到瓶頸時,都可以通過水平拆分來解決,水平拆分和垂直拆分有較大區(qū)別,垂直拆分拆完的結(jié)果,在一個實例上是擁有全量數(shù)據(jù)的,而水平拆分之后,任何實例都只有全量的1/n的數(shù)據(jù),以下圖Userinfo的拆分為例,將userinfo拆分為3個cluster,每個cluster持有總量的1/3數(shù)據(jù),3個cluster數(shù)據(jù)的總和等于一份完整數(shù)據(jù)(注:這里不再叫單個實例 而是叫一個cluster 代表包含主從的一個小mysql集群)
sharding key按連續(xù)區(qū)間段路由,一般用在有嚴(yán)格自增ID需求的場景上,如Userid, Userid Range的小例子:以userid 3000W 為Range進(jìn)行拆分 1號cluster userid 1-3000W 2號cluster userid 3001W-6000W
2.List拆分List拆分與Range拆分思路一樣,都是通過給不同的sharding key來路由到不同的cluster,但是具體方法有些不同,List主要用來做sharding key不是連續(xù)區(qū)間的序列落到一個cluster的情況,如以下場景:假定有20個音像店,分布在4個有經(jīng)銷權(quán)的地區(qū),如下表所示:
地區(qū)
商店ID 號
北區(qū)
3, 5, 6, 9, 17
東區(qū)
1, 2, 10, 11, 19, 20
西區(qū)
4, 12, 13, 14, 18
中心區(qū)
7, 8, 15, 16
相關(guān)文章:
1. MariaDB的安裝與配置教程2. centos 7安裝mysql5.5和安裝 mariadb使用的命令3. SQLite 性能優(yōu)化實例分享4. Window7安裝MariaDB數(shù)據(jù)庫及系統(tǒng)初始化操作分析5. SQL案例學(xué)習(xí)之字符串的合并與拆分方法總結(jié)6. Centos7 下mysql重新啟動MariaDB篇7. access不能打開注冊表關(guān)鍵字錯誤處理方法(80004005錯誤)8. MariaDB數(shù)據(jù)庫的外鍵約束實例詳解9. MariaDB性能調(diào)優(yōu)工具mytop的使用詳解10. SQL Server一個字符串拆分多行顯示或者多行數(shù)據(jù)合并成一個字符串
