电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL 如何設計統計數據表

瀏覽:2日期:2023-10-01 18:37:02
目錄是否需要實時更新物化視圖工具(Flexviews)計數表總結

緩存型數據表通常在統計數據時會經常用到,因此也會叫統計性數據。舉個例子來說,對于員工、部門數據表而言,我們可能會需要查詢一個部門下有多少員工。這時候有三種方式實現:

在部門下增加一個員工數量的字段,每次對員工進行增、改、刪操作時都需要同步更新員工數量(如果員工換部門,則需要更新多個部門的員工數量)。這種方式能夠保證實時性,但是卻很低效。對于如果是操作不頻繁時是沒問題的,假設相當頻繁,就意味著每次都需要操作兩張表,而且業務代碼都需要做埋點處理,將統計業務和普通業務深度耦合在一起了。 每次查詢的時候,從員工表中執行 SUM 函數,獲取該部門的員工數。這種方式避免了埋點,但是每次都需要去員工數據表求和,如果員工數據量大的話會很低效。 新建一張統計表,每隔一定時間從員工表中匯總每個部門的人員數量。這種定時抽取數據的方式會犧牲一定的實時性,但降低了代碼的耦合,由于部門不會太多,這張表的大小是可預測的,也提高了數據訪問的效率。這種方式即緩存型數據表。

以掘金的手機端個人中心為例,為展示每個用戶的關注人數、關注者和掘力值,不可能每次查詢都去做一次 SUM,這意味著需要做多張表的 SUM 操作,效率會很低,而且掘力值的計算還涉及到更為復雜的計算方法(與文章的瀏覽量和點贊數有關)。因此,可以猜測一下大致的表設計,這樣在查詢用戶個人主頁信息的時候只需要從這一張表就可以讀取到所有數據了。

CREATE t_user_summay ( id INT PRIMARY KEY, user_id BIGINT(20), focused_user_cnt INT, followed_user_cnt INT, user_value INT, user_level ENUM(’Lv1’, ’Lv2’, ..., ’Lv8’), created_time DATETIME, updated_time DATETIME,);

MySQL 如何設計統計數據表

是否需要實時更新

在實際應用過程中,統計表有兩種方式,一種是實時更新,一種是周期性的重建數據。兩種方式有利有弊,實時更新保證了查詢數據的即時性,但是會犧牲性能,并且要求代碼埋點,而且由于數據更新是沒有規律的,可能產生碎片。周期性的重建數據犧牲了實時性,如果說大部分數據都不變的話會帶來不必要的統計計算,但如果數據經常變動,那周期性地重建數據顯然會更高效而且避免了埋點的情況。當然,避免應用程序的埋點也可以通過觸發器來完成,可以參考//www.jb51.net/article/213062.htm

物化視圖工具(Flexviews)

在 MySQL 中,有一個 Flexviews 的開源工具用于從數據庫的binlog 中提取數據完成數據統計。有點類似與視圖,但與視圖所不同的是,Flexviews 產生的數據表是物理表,這也是為什么稱之為物化視圖的原因。而且,Flexviews 還支持增量更新和全量更新。推薦使用增量更新,以避免所有行的統計數據都需要重建的情況。增量更新會檢查哪些數據行數據發生了改變,再執行更新操作,相比全量更新而言性能會更高。但為了檢測數據改變,需要引入一個視圖記錄數據行的變化日志。

計數表

在實際開發中,我們經常會需要對一些操作進行計數,比如文章的閱讀數、點贊數。如果將計數值放入同一張表很可能在更新的時候出現并發問題。使用獨立的計數表可以避免查詢緩存失效問題并使用一些更高級的技巧。例如統計文章的閱讀數、點贊數的數據表:

CREATE TABLE t_article_counter ( article_id INT PRIMARY KEY, read_cnt INT UNSIGNED NOT NULL, praise_cnt INT UNSIGNED NOT NULL);

在更新閱讀數的時候,可以使用 MySQL 的內置加1操作:

UPDATE t_article_counter SET read_cnt = read_cnt + 1WHERE article_id = 1;

這種方式可以使得操作是單行的,對事物而言是互斥的,因此會將事務序列化處理避免并發問題。但是卻會影響并發請求量。可以對文章增加多個插槽來提高并發量。

CREATE TABLE t_article_counter ( id INT NOT NULL PRIMARY KEY, slot TINYINT UNSIGNED, article_id INT, read_cnt INT UNSIGNED NOT NULL, praise_cnt INT UNSIGNED NOT NULL, INDEX(article_id));

這時可以創建100個插槽初始化數據,在更新的時候可以這樣操作:

UPDATE t_article_counterSET read_cnt = read_cnt + 1 WHERE slot = RAND() * 100 AND article_id = 1;

獲取某篇文章的總閱讀數時,需要使用一個 SUM 操作:

SELECT SUM(read_cnt) FROM t_article_counterWHERE article_id = 1;

這種方式實際上是空間換時間,提高了并發量。

總結

本篇介紹了如何設計統計數據表,關鍵的核心在于業務類型。對于更新頻率低、數據量小的表使用實時同步或者直接 SUM 求和問題都不大。而對于大數據表,高頻率的更新的情況,則可以使用獨立的統計表。同時,若存在高并發的情況,統計表中可以考慮每項主體增加多個插槽的方式提高并發量。如果是周期性地同步數據,也可以使用 Flexviews 物化視圖插件實現。

以上就是MySQL 如何設計統計數據表的詳細內容,更多關于MySQL 設計統計數據表的資料請關注好吧啦網其它相關文章!

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 酒店厨房设计_中央厨房设计_北京商用厨房设计公司-奇能商厨 | 除湿机|工业除湿机|抽湿器|大型地下室车间仓库吊顶防爆除湿机|抽湿烘干房|新风除湿机|调温/降温除湿机|恒温恒湿机|加湿机-杭州川田电器有限公司 | 皮带机-带式输送机价格-固定式胶带机生产厂家-河南坤威机械 | 耐热钢-耐磨钢-山东聚金合金钢铸造有限公司| 厂房出租_厂房出售_产业园区招商_工业地产 - 中工招商网 | 沥青灌缝机_路面灌缝机_道路灌缝机_沥青灌缝机厂家_济宁萨奥机械有限公司 | 鄂泉泵业官网|(杭州、上海、全国畅销)大流量防汛排涝泵-LW立式排污泵 | 广州监控安装公司_远程监控_安防弱电工程_无线wifi覆盖_泉威安防科技 | 铝扣板-铝方通-铝格栅-铝条扣板-铝单板幕墙-佳得利吊顶天花厂家 elisa试剂盒价格-酶联免疫试剂盒-猪elisa试剂盒-上海恒远生物科技有限公司 | 螺旋丝杆升降机-SWL蜗轮-滚珠丝杆升降机厂家-山东明泰传动机械有限公司 | atcc网站,sigma试剂价格,肿瘤细胞现货,人结肠癌细胞株购买-南京科佰生物 | 澳洁干洗店加盟-洗衣店干洗连锁「澳洁干洗免费一对一贴心服务」 干洗加盟网-洗衣店品牌排行-干洗设备价格-干洗连锁加盟指南 | 盐水蒸发器,水洗盐设备,冷凝结晶切片机,转鼓切片机,絮凝剂加药系统-无锡瑞司恩机械有限公司 | 动库网动库商城-体育用品专卖店:羽毛球,乒乓球拍,网球,户外装备,运动鞋,运动包,运动服饰专卖店-正品运动品网上商城动库商城网 - 动库商城 | China plate rolling machine manufacturer,cone rolling machine-Saint Fighter | 液压升降货梯_导轨式升降货梯厂家_升降货梯厂家-河南东圣升降设备有限公司 | 苏州伊诺尔拆除公司_专业酒店厂房拆除_商场学校拆除_办公楼房屋拆除_家工装拆除拆旧 | 伺服电机维修、驱动器维修「安川|三菱|松下」伺服维修公司-深圳华创益 | 厌氧反应器,IC厌氧反应器,厌氧三相分离器-山东创博环保科技有限公司 | PCB设计,PCB抄板,电路板打样,PCBA加工-深圳市宏力捷电子有限公司 | RTO换向阀_VOC高温阀门_加热炉切断阀_双偏心软密封蝶阀_煤气蝶阀_提升阀-湖北霍科德阀门有限公司 | 电动车头盔厂家_赠品头盔_安全帽批发_山东摩托车头盔—临沂承福头盔 | 石家庄装修设计_室内家装设计_别墅装饰装修公司-石家庄金舍装饰官网 | 托利多电子平台秤-高精度接线盒-托利多高精度电子秤|百科 | 深圳展厅设计_企业展馆设计_展厅设计公司_数字展厅设计_深圳百艺堂 | 作文导航网_作文之家_满分作文_优秀作文_作文大全_作文素材_最新作文分享发布平台 | TPU薄膜_TPU薄膜生产厂家_TPU热熔胶膜厂家定制_鑫亘环保科技(深圳)有限公司 | 纯化水设备-纯水设备-超纯水设备-[大鹏水处理]纯水设备一站式服务商-东莞市大鹏水处理科技有限公司 | 制氮设备_PSA制氮机_激光切割制氮机_氮气机生产厂家-苏州西斯气体设备有限公司 | 气动绞车,山东气动绞车,气动绞车厂家-烟台博海石油机械有限公司 气动隔膜泵厂家-温州永嘉定远泵阀有限公司 | 新型锤式破碎机_新型圆锥式_新型颚式破碎机_反击式打沙机_锤式制砂机_青州建源机械 | 北京网站建设首页,做网站选【优站网】,专注北京网站建设,北京网站推广,天津网站建设,天津网站推广,小程序,手机APP的开发。 | 无线联网门锁|校园联网门锁|学校智能门锁|公租房智能门锁|保障房管理系统-KEENZY中科易安 | 橡胶电子拉力机-塑料-微电脑电子拉力试验机厂家-江苏天源 | 一路商机网-品牌招商加盟优选平台-加盟店排行榜平台 | 智能门锁电机_智能门锁离合器_智能门锁电机厂家-温州劲力智能科技有限公司 | 开业庆典_舞龙舞狮_乔迁奠基仪式_开工仪式-神挚龙狮鼓乐文化传媒 | 硅胶布|电磁炉垫片|特氟龙胶带-江苏浩天复合材料有限公司 | 硫化罐_蒸汽硫化罐_大型硫化罐-山东鑫泰鑫智能装备有限公司 | 纸塑分离机-纸塑分离清洗机设备-压力筛-碎浆机厂家金双联环保 | 武汉创亿电气设备有限公司_电力检测设备生产厂家 |