电脑知识|欧美黑人一区二区三区|软件|欧美黑人一级爽快片淫片高清|系统|欧美黑人狂野猛交老妇|数据库|服务器|编程开发|网络运营|知识问答|技术教程文章 - 好吧啦网

您的位置:首頁技術文章
文章詳情頁

MySQL 如何設計統計數據表

瀏覽:22日期:2023-10-01 18:37:02
目錄是否需要實時更新物化視圖工具(Flexviews)計數表總結

緩存型數據表通常在統計數據時會經常用到,因此也會叫統計性數據。舉個例子來說,對于員工、部門數據表而言,我們可能會需要查詢一個部門下有多少員工。這時候有三種方式實現:

在部門下增加一個員工數量的字段,每次對員工進行增、改、刪操作時都需要同步更新員工數量(如果員工換部門,則需要更新多個部門的員工數量)。這種方式能夠保證實時性,但是卻很低效。對于如果是操作不頻繁時是沒問題的,假設相當頻繁,就意味著每次都需要操作兩張表,而且業務代碼都需要做埋點處理,將統計業務和普通業務深度耦合在一起了。 每次查詢的時候,從員工表中執行 SUM 函數,獲取該部門的員工數。這種方式避免了埋點,但是每次都需要去員工數據表求和,如果員工數據量大的話會很低效。 新建一張統計表,每隔一定時間從員工表中匯總每個部門的人員數量。這種定時抽取數據的方式會犧牲一定的實時性,但降低了代碼的耦合,由于部門不會太多,這張表的大小是可預測的,也提高了數據訪問的效率。這種方式即緩存型數據表。

以掘金的手機端個人中心為例,為展示每個用戶的關注人數、關注者和掘力值,不可能每次查詢都去做一次 SUM,這意味著需要做多張表的 SUM 操作,效率會很低,而且掘力值的計算還涉及到更為復雜的計算方法(與文章的瀏覽量和點贊數有關)。因此,可以猜測一下大致的表設計,這樣在查詢用戶個人主頁信息的時候只需要從這一張表就可以讀取到所有數據了。

CREATE t_user_summay ( id INT PRIMARY KEY, user_id BIGINT(20), focused_user_cnt INT, followed_user_cnt INT, user_value INT, user_level ENUM(’Lv1’, ’Lv2’, ..., ’Lv8’), created_time DATETIME, updated_time DATETIME,);

MySQL 如何設計統計數據表

是否需要實時更新

在實際應用過程中,統計表有兩種方式,一種是實時更新,一種是周期性的重建數據。兩種方式有利有弊,實時更新保證了查詢數據的即時性,但是會犧牲性能,并且要求代碼埋點,而且由于數據更新是沒有規律的,可能產生碎片。周期性的重建數據犧牲了實時性,如果說大部分數據都不變的話會帶來不必要的統計計算,但如果數據經常變動,那周期性地重建數據顯然會更高效而且避免了埋點的情況。當然,避免應用程序的埋點也可以通過觸發器來完成,可以參考//www.jb51.net/article/213062.htm

物化視圖工具(Flexviews)

在 MySQL 中,有一個 Flexviews 的開源工具用于從數據庫的binlog 中提取數據完成數據統計。有點類似與視圖,但與視圖所不同的是,Flexviews 產生的數據表是物理表,這也是為什么稱之為物化視圖的原因。而且,Flexviews 還支持增量更新和全量更新。推薦使用增量更新,以避免所有行的統計數據都需要重建的情況。增量更新會檢查哪些數據行數據發生了改變,再執行更新操作,相比全量更新而言性能會更高。但為了檢測數據改變,需要引入一個視圖記錄數據行的變化日志。

計數表

在實際開發中,我們經常會需要對一些操作進行計數,比如文章的閱讀數、點贊數。如果將計數值放入同一張表很可能在更新的時候出現并發問題。使用獨立的計數表可以避免查詢緩存失效問題并使用一些更高級的技巧。例如統計文章的閱讀數、點贊數的數據表:

CREATE TABLE t_article_counter ( article_id INT PRIMARY KEY, read_cnt INT UNSIGNED NOT NULL, praise_cnt INT UNSIGNED NOT NULL);

在更新閱讀數的時候,可以使用 MySQL 的內置加1操作:

UPDATE t_article_counter SET read_cnt = read_cnt + 1WHERE article_id = 1;

這種方式可以使得操作是單行的,對事物而言是互斥的,因此會將事務序列化處理避免并發問題。但是卻會影響并發請求量。可以對文章增加多個插槽來提高并發量。

CREATE TABLE t_article_counter ( id INT NOT NULL PRIMARY KEY, slot TINYINT UNSIGNED, article_id INT, read_cnt INT UNSIGNED NOT NULL, praise_cnt INT UNSIGNED NOT NULL, INDEX(article_id));

這時可以創建100個插槽初始化數據,在更新的時候可以這樣操作:

UPDATE t_article_counterSET read_cnt = read_cnt + 1 WHERE slot = RAND() * 100 AND article_id = 1;

獲取某篇文章的總閱讀數時,需要使用一個 SUM 操作:

SELECT SUM(read_cnt) FROM t_article_counterWHERE article_id = 1;

這種方式實際上是空間換時間,提高了并發量。

總結

本篇介紹了如何設計統計數據表,關鍵的核心在于業務類型。對于更新頻率低、數據量小的表使用實時同步或者直接 SUM 求和問題都不大。而對于大數據表,高頻率的更新的情況,則可以使用獨立的統計表。同時,若存在高并發的情況,統計表中可以考慮每項主體增加多個插槽的方式提高并發量。如果是周期性地同步數據,也可以使用 Flexviews 物化視圖插件實現。

以上就是MySQL 如何設計統計數據表的詳細內容,更多關于MySQL 設計統計數據表的資料請關注好吧啦網其它相關文章!

標簽: MySQL 數據庫
相關文章:
主站蜘蛛池模板: 水环真空泵厂家,2bv真空泵,2be真空泵-淄博真空设备厂 | FAG轴承,苏州FAG轴承,德国FAG轴承-恩梯必传动设备(苏州)有限公司 | 高铝矾土熟料_细粉_骨料_消失模_铸造用铝矾土_铝酸钙粉—嵩峰厂家 | 河南mpp电力管_mpp电力管生产厂家_mpp电力电缆保护管价格 - 河南晨翀实业 | 北京网站建设公司_北京网站制作公司_北京网站设计公司-北京爱品特网站建站公司 | LED太阳能中国结|发光红灯笼|灯杆造型灯|节日灯|太阳能灯笼|LED路灯杆装饰造型灯-北京中海轩光电 | 袋式过滤器,自清洗过滤器,保安过滤器,篮式过滤器,气体过滤器,全自动过滤器,反冲洗过滤器,管道过滤器,无锡驰业环保科技有限公司 | 高低温试验箱-模拟高低温试验箱订制-北京普桑达仪器科技有限公司【官网】 | 发电机价格|发电机组价格|柴油发电机价格|柴油发电机组价格网 | 柴油发电机组_柴油发电机_发电机组价格-江苏凯晨电力设备有限公司 | 清管器,管道清管器,聚氨酯发泡球,清管球 - 承德嘉拓设备 | 校车_校车价格_19座幼儿园校车_幼儿园校车_大鼻子校车 | [官网]叛逆孩子管教_戒网瘾学校_全封闭问题青少年素质教育_新起点青少年特训学校 | 上海新光明泵业制造有限公司-电动隔膜泵,气动隔膜泵,卧式|立式离心泵厂家 | 培训中心-翰香原香酥板栗饼加盟店总部-正宗板栗酥饼技术 | 热熔胶网膜|pes热熔网膜价格|eva热熔胶膜|热熔胶膜|tpu热熔胶膜厂家-苏州惠洋胶粘制品有限公司 | 气动球阀_衬氟蝶阀_调节阀_电动截止阀_上海沃托阀门有限公司 | SMN-1/SMN-A ABB抽屉开关柜触头夹紧力检测仪-SMN-B/SMN-C-上海徐吉 | EDLC超级法拉电容器_LIC锂离子超级电容_超级电容模组_软包单体电容电池_轴向薄膜电力电容器_深圳佳名兴电容有限公司_JMX专注中高端品牌电容生产厂家 | 贴片电容代理-三星电容-村田电容-风华电容-国巨电容-深圳市昂洋科技有限公司 | 深圳市宏康仪器科技有限公司-模拟高空低压试验箱-高温防爆试验箱-温控短路试验箱【官网】 | 工业设计,人工智能,体验式3D展示的智能技术交流服务平台-纳金网 J.S.Bach 圣巴赫_高端背景音乐系统_官网 | 衬四氟_衬氟储罐_四氟储罐-无锡市氟瑞特防腐科技有限公司 | 校车_校车价格_19座幼儿园校车_幼儿园校车_大鼻子校车 | 变频器维修公司_plc维修_伺服驱动器维修_工控机维修 - 夫唯科技 变位机,焊接变位机,焊接变位器,小型变位机,小型焊接变位机-济南上弘机电设备有限公司 | 西安微信朋友圈广告投放_微信朋友圈推广_西安度娘网络科技有限公司 | 挤出熔体泵_高温熔体泵_熔体出料泵_郑州海科熔体泵有限公司 | 创富网-B2B网站|供求信息网|b2b平台|专业电子商务网站 | 药品冷藏箱厂家_低温冰箱_洁净工作台-济南欧莱博电子商务有限公司官网 | 范秘书_懂你的范文小秘书 | AGV叉车|无人叉车|AGV智能叉车|AGV搬运车-江西丹巴赫机器人股份有限公司 | nalgene洗瓶,nalgene量筒,nalgene窄口瓶,nalgene放水口大瓶,浙江省nalgene代理-杭州雷琪实验器材有限公司 | 对夹式止回阀_对夹式蝶形止回阀_对夹式软密封止回阀_超薄型止回阀_不锈钢底阀-温州上炬阀门科技有限公司 | 激光内雕_led玻璃_发光玻璃_内雕玻璃_导光玻璃-石家庄明晨三维科技有限公司 激光内雕-内雕玻璃-发光玻璃 | 北京模型公司-工业模型-地产模型-施工模型-北京渝峰时代沙盘模型制作公司 | 橡胶接头_橡胶软接头_套管伸缩器_管道伸缩器厂家-巩义市远大供水材料有限公司 | 内窥镜-工业内窥镜厂家【上海修远仪器仪表有限公司】 | 合肥展厅设计-安徽展台设计-合肥展览公司-安徽奥美展览工程有限公司 | 【MBA备考网】-2024年工商管理硕士MBA院校/报考条件/培训/考试科目/提前面试/考试/学费-MBA备考网 | PO膜_灌浆膜及地膜供应厂家 - 青州市鲁谊塑料厂 | 电动不锈钢套筒阀-球面偏置气动钟阀-三通换向阀止回阀-永嘉鸿宇阀门有限公司 |