MySQL的Query Cache圖文詳解
Query Cache就是把“查詢(xún)返回的結(jié)果”緩存起來(lái)。但是,僅僅只是緩存“查詢(xún)返回的結(jié)果”,其實(shí)是不準(zhǔn)確的,Query Cache還會(huì)緩存查詢(xún)語(yǔ)句,在內(nèi)存中將“查詢(xún)語(yǔ)句”和“查詢(xún)返回的結(jié)果”映射起來(lái)。當(dāng)MySQL接收到一條SELECT類(lèi)型的查詢(xún)語(yǔ)句時(shí),MySQL會(huì)對(duì)這條查詢(xún)語(yǔ)句進(jìn)行hash計(jì)算而得到一個(gè)hash值。然后,通過(guò)該hash值到Query Cache中去匹配。如果沒(méi)有得到匹配結(jié)果,則會(huì)將這個(gè)hash值存放在一個(gè)hash鏈表中,同時(shí)將此次查詢(xún)的結(jié)果存放至緩存中。存放hash值的鏈表的每個(gè)節(jié)點(diǎn)都會(huì)存放相應(yīng)查詢(xún)返回結(jié)果在緩存中的地址,以及該次查詢(xún)所涉及到的一些表的相關(guān)信息。如果通過(guò)hash值匹配到相同的查詢(xún),則會(huì)直接將緩存中相應(yīng)的查詢(xún)結(jié)果返回給客戶(hù)端。如果MySQL的任何一張表中的任何一條數(shù)據(jù)發(fā)生了變化,便會(huì)通知Query Cache,將和這張表相關(guān)的查詢(xún)緩存全部失效,并釋放占用的內(nèi)存空間。修改表數(shù)據(jù)的操作包括:INSERT、UPDATE、DELETE、TRUNCATE、ALTER TABLE、DROP TABLE和DROP DATABASE等等。
Query Cache的工作原則是:執(zhí)行查詢(xún)最快的方式就是不去執(zhí)行。Query Cache的組件圖和流程圖如下所示:
Query Cache的主要可配置系統(tǒng)變量如下所示:
表示mysqld是否支持Query Cache。
2. query_cache_limit表示Query Cache可以緩存的單條查詢(xún)的最大結(jié)果集的大小,默認(rèn)值為1MB。如果某次查詢(xún)的結(jié)果集大小超過(guò)這個(gè)系統(tǒng)變量的值,那么Query Cache就不會(huì)緩存這次查詢(xún)的結(jié)果集。
3. query_cache_min_res_unit表示MySQL為Query Cache每次分配內(nèi)存的最小空間大小,也就是用于緩存查詢(xún)結(jié)果的最小內(nèi)存空間的大小,默認(rèn)值為4KB。
4. query_cache_size表示Query Cache可以使用的最大內(nèi)存空間的大小,默認(rèn)值為1MB。設(shè)置的值必須是1024的整數(shù)倍,若不是整數(shù)倍,MySQL則會(huì)自動(dòng)調(diào)整降低至達(dá)到1024倍數(shù)的最大值。
5. query_cache_type表示Query Cache的工作模式,同時(shí)也是Query Cache功能的開(kāi)關(guān),可以設(shè)置為0(OFF)、1(ON)和2(DEMAND)三種值:
0(OFF):關(guān)閉Query Cache功能,任何情況下都不會(huì)使用Query Cache。
1(ON):開(kāi)啟Query Cache功能,但是當(dāng)SELECT語(yǔ)句中使用了SQL_NO_CACHE選項(xiàng)之后,將不會(huì)使用Query Cache。
2(DEMAND):開(kāi)啟Query Cache功能,但是只有當(dāng)SELECT語(yǔ)句中使用了SQL_CACHE選項(xiàng)之后,才會(huì)使用Query Cache。
6. query_cache_wlock_invalidate控制當(dāng)有寫(xiě)鎖加在表上的時(shí)候,是否先讓該表相關(guān)的Query Cahce失效,具有1(ON)和0(OFF)兩種取值:
1(ON):在寫(xiě)鎖定的同時(shí)將使該表相關(guān)的所有Query Cache失效。
0(OFF):在寫(xiě)鎖定的同時(shí)仍然允許讀取該表相關(guān)的Query Cache。
以上環(huán)境變量經(jīng)常需要調(diào)整的是query_cache_limit和query_cache_min_res_unit,它們都需要根據(jù)實(shí)際業(yè)務(wù)進(jìn)行相應(yīng)的調(diào)整。例如,如果緩存的查詢(xún)結(jié)果集大多數(shù)都小于4KB的話(huà),則可以適當(dāng)?shù)恼{(diào)整query_cache_min_res_unit的值,以避免造成內(nèi)存的浪費(fèi)。如果查詢(xún)結(jié)果集的大小又都大于1MB時(shí),就需要調(diào)整query_cache_limit的值,避免因?yàn)榻Y(jié)果集大小超過(guò)限制而不被緩存。
三、Query Cache狀態(tài)變量MySQL提供一系列的狀態(tài)變量來(lái)記錄Query Cache的當(dāng)前狀態(tài),使你能夠確認(rèn)Query Cache的運(yùn)行是否健康、命中率如何、內(nèi)存空間大小是否足夠,等等。Query Cache的狀態(tài)變量如下所示:
表示Query Cache中目前還有多少空閑的內(nèi)存塊。如果該值比較大,則說(shuō)明Query Cache中的內(nèi)存碎片可能比較多。FLUSH QUERY CACHE會(huì)對(duì)緩存中的碎片進(jìn)行整理,從而得到一個(gè)較大的空閑內(nèi)存塊。
2. Qcache_free_memory表示Query Cache目前空閑的內(nèi)存大小。
3. Qcache_hits表示有多少次查詢(xún)?cè)赒uery Cache命中。
4. Qcache_inserts向Query Cache中插入新記錄的次數(shù),也就是查詢(xún)沒(méi)有命中的次數(shù)。
5. Qcache_lowmem_prunes表示由于Query Cache的內(nèi)存不足而從緩存中刪除的查詢(xún)結(jié)果的數(shù)量。如果這個(gè)數(shù)值在不斷增長(zhǎng),那么一般是Query Cache的空閑內(nèi)存不足(通過(guò)Qcache_free_memory判斷),或者內(nèi)存碎片較嚴(yán)重(通過(guò)Qcache_free_blocks判斷)。
6. Qcache_not_cached表示沒(méi)有被緩存的查詢(xún)數(shù)量。有三種情況會(huì)導(dǎo)致查詢(xún)結(jié)果不會(huì)被緩存:其一,由于query_cache_type的設(shè)置;其二,查詢(xún)不是SELECT語(yǔ)句;其三,使用了now()之類(lèi)的函數(shù),導(dǎo)致查詢(xún)語(yǔ)句一直在變化。
7. Qcache_queries_in_cache表示Query Cache中當(dāng)前包含的查詢(xún)結(jié)果數(shù)量。
8. Qcache_total_blocks表示Query Cache中的內(nèi)存塊總數(shù)量。
四、優(yōu)點(diǎn)與缺點(diǎn)1. 優(yōu)點(diǎn)Query Cache的查詢(xún),發(fā)生在MySQL接收到客戶(hù)端的查詢(xún)請(qǐng)求、查詢(xún)權(quán)限驗(yàn)證之后和查詢(xún)SQL解析之前。也就是說(shuō),當(dāng)MySQL接收到客戶(hù)端的查詢(xún)SQL之后,僅僅只需要對(duì)其進(jìn)行相應(yīng)的權(quán)限驗(yàn)證之后,就會(huì)通過(guò)Query Cache來(lái)查找結(jié)果,甚至都不需要經(jīng)過(guò)Optimizer模塊進(jìn)行執(zhí)行計(jì)劃的分析優(yōu)化,更不需要發(fā)生任何存儲(chǔ)引擎的交互。由于Query Cache是基于內(nèi)存的,直接從內(nèi)存中返回相應(yīng)的查詢(xún)結(jié)果,因此減少了大量的磁盤(pán)I/O和CPU計(jì)算,導(dǎo)致效率非常高。
2. 缺點(diǎn)即使Query Cache的優(yōu)點(diǎn)很明顯,但是也不能忽略它所帶來(lái)的一些缺點(diǎn):
查詢(xún)語(yǔ)句的hash計(jì)算和hash查找?guī)?lái)的資源消耗。如果將query_cache_type設(shè)置為1(也就是ON),那么MySQL會(huì)對(duì)每條接收到的SELECT類(lèi)型的查詢(xún)進(jìn)行hash計(jì)算,然后查找這個(gè)查詢(xún)的緩存結(jié)果是否存在。雖然hash計(jì)算和查找的效率已經(jīng)足夠高了,一條查詢(xún)語(yǔ)句所帶來(lái)的開(kāi)銷(xiāo)可以忽略,但一旦涉及到高并發(fā),有成千上萬(wàn)條查詢(xún)語(yǔ)句時(shí),hash計(jì)算和查找所帶來(lái)的開(kāi)銷(xiāo)就必須重視了。
Query Cache的失效問(wèn)題。如果表的變更比較頻繁,則會(huì)造成Query Cache的失效率非常高。表的變更不僅僅指表中的數(shù)據(jù)發(fā)生變化,還包括表結(jié)構(gòu)或者索引的任何變化。
查詢(xún)語(yǔ)句不同,但查詢(xún)結(jié)果相同的查詢(xún)都會(huì)被緩存,這樣便會(huì)造成內(nèi)存資源的過(guò)度消耗。查詢(xún)語(yǔ)句的字符大小寫(xiě)、空格或者注釋的不同,Query Cache都會(huì)認(rèn)為是不同的查詢(xún)(因?yàn)樗麄兊膆ash值會(huì)不同)。
相關(guān)系統(tǒng)變量設(shè)置不合理會(huì)造成大量的內(nèi)存碎片,這樣便會(huì)導(dǎo)致Query Cache頻繁清理內(nèi)存。
五、常見(jiàn)問(wèn)答1. 應(yīng)當(dāng)在什么條件下使用Query Cache?實(shí)際上,并不是所有表都適合使用Query Cache。造成Query Cache失效的原因主要是相應(yīng)的表發(fā)生了變更,那么就應(yīng)該避免在變更頻繁的表上使用Query Cache。MySQL針對(duì)Query Cache有兩個(gè)專(zhuān)用的SQL選項(xiàng):SQL_NO_CACHE和SQL_CACHE。若將query_cache_type設(shè)置為1(ON),那么通過(guò)SQL_NO_CACHE選項(xiàng)便能強(qiáng)制不使用Query Cache;若將query_cache_type設(shè)置為2(DEMAND),那么通過(guò)SQL_CACHE選項(xiàng)便能強(qiáng)制使用Query Cache。通過(guò)強(qiáng)制不使用Query Cache,可以讓MySQL在頻繁變更的表上不使用Query Cache,這樣減少了內(nèi)存開(kāi)銷(xiāo),也減少了hash計(jì)算和查找的開(kāi)銷(xiāo)。
2. Query Cache與查詢(xún)語(yǔ)句有什么關(guān)系?無(wú)論MySQL收到的查詢(xún)語(yǔ)句是單表還是多表或是包含子查詢(xún)的SQL,都被作為一個(gè)查詢(xún),不會(huì)被分拆成多個(gè)查詢(xún)來(lái)進(jìn)行緩存,包括Union語(yǔ)句。
3. 客戶(hù)端提交的查詢(xún)語(yǔ)句的大小寫(xiě)對(duì)Query Cache有影響嗎?有影響。由于Query Cache在內(nèi)存中是以hash結(jié)構(gòu)來(lái)進(jìn)行映射的,hash算法的基礎(chǔ)就是組成查詢(xún)語(yǔ)句的字符,所以必須要整個(gè)查詢(xún)語(yǔ)句在字符級(jí)別完全一致,才能在Query Cache中命中。
4. 一個(gè)查詢(xún)語(yǔ)句在Query Cache中緩存的查詢(xún)結(jié)果,在什么情況下會(huì)失效?為了保證Query Cache中的內(nèi)容與是實(shí)際數(shù)據(jù)絕對(duì)一致,當(dāng)表中的數(shù)據(jù)有任何變化,包括新增、修改、刪除等,都會(huì)使所有引用到該表的Query Cache緩存數(shù)據(jù)失效。
5. Query Cache碎片率是什么?有什么用?Query Cache碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%如果Query Cache碎片率超過(guò)20%,則可以用FLUSH QUERY CACHE整理內(nèi)存碎片;如果你的查詢(xún)都是小數(shù)據(jù)量的話(huà),可以嘗試減小query_cache_min_res_unit。
6. Query Cache利用率是什么?有什么用?Query Cache利用率 = (query_cache_size - Qcache_free_memory) / query_cache_size * 100%
Query Cache利用率在25%以下的話(huà),說(shuō)明query_cache_size設(shè)置的過(guò)大,可適當(dāng)減小;Query Cache利用率在80%以上,而且Qcache_lowmem_prunes > 50的話(huà),說(shuō)明query_cache_size可能有點(diǎn)小,或者就是內(nèi)存碎片太多。
7. Query Cache命中率是什么?有什么用?① 可緩存查詢(xún)的Query Cache命中率 = Qcache_hits / (Qcache_hits + Qcache_inserts) * 100%② 涵蓋所有查詢(xún)的Query Cache命中率 = Qcache_hits / (Qcache_hits + Com_select) * 100%
若命中率在50-70%的范圍之內(nèi),則表明Query Cache的緩存效率較高。如果命中率明顯小于50%,那么建議禁用(將query_cache_type設(shè)置為0(OFF))或按需使用(將query_cache_type設(shè)置為2(DEMAND))Query Cache,節(jié)省的內(nèi)存可以用作InnoDB的緩沖池。
8. 如何判斷Query Cache是空閑內(nèi)存不足,還是內(nèi)存碎片太多?如果Qcache_lowmem_prunes值比較大,表示Query Cache的內(nèi)存空間大小設(shè)置太小,需要增大。
如果Qcache_free_blocks值比較大,表示內(nèi)存碎片較多,需要使用FLUSH QUERY CACHE語(yǔ)句清理內(nèi)存碎片。
9. 系統(tǒng)變量query_cache_min_res_unit應(yīng)當(dāng)設(shè)置為多大?query_cache_min_res_unit的計(jì)算公式如下所示:
query_cache_min_res_unit = (query_cache_size - Qcache_free_memory) / Qcache_queries_in_cache
其中,一般不建議將Query Cache的大小(也就是query_cache_size系統(tǒng)變量)設(shè)置超過(guò)256MB。
Mysql查詢(xún)緩存Query_cache的功用MySQL的查詢(xún)緩存并非緩存執(zhí)行計(jì)劃,而是查詢(xún)及其結(jié)果集,這就意味著只有相同的查詢(xún)操作才能命中緩存,因此MySQL的查詢(xún)緩存命中率很低,另一方面,對(duì)于大結(jié)果集的查詢(xún),其查詢(xún)結(jié)果可以從cache中直接讀取,有效的提升了查詢(xún)效率。
那么如何設(shè)置緩存的大小呢?來(lái)看一下:
1、在mysql客戶(hù)端命令行中我們可以這么查看緩存是否開(kāi)啟以及緩存設(shè)置的大小:
mysql> show variables like ’%query_cache%’;+------------------------------+-------------+| Variable_name| Value |+------------------------------+-------------+| have_query_cache | YES || query_cache_limit | 1048576 || query_cache_min_res_unit | 4096|| query_cache_size | 16106127360 || query_cache_type | ON || query_cache_wlock_invalidate | OFF |+------------------------------+-------------+6 rows in set (0.01 sec)
其中:
query_cache_type: 是否開(kāi)啟緩存功能,取值為ON, OFF, DEMAND,默認(rèn)值為ON- 值為OFF或0時(shí),查詢(xún)緩存功能關(guān)閉;- 值為ON或1時(shí),查詢(xún)緩存功能打開(kāi),SELECT的結(jié)果符合緩存條件即會(huì)緩存,否則,不予緩存,顯式指定SQL_NO_CACHE,不予緩存;- 值為DEMAND或2時(shí),查詢(xún)緩存功能按需進(jìn)行,顯式指定SQL_CACHE的SELECT語(yǔ)句才會(huì)緩存;其它均不予緩存
query_cache_wlock_invalidate:表示當(dāng)有其他客戶(hù)端正在對(duì)MyISAM表進(jìn)行寫(xiě)操作時(shí),如果查詢(xún)?cè)趒uery cache中,是否返回cache結(jié)果還是等寫(xiě)操作完成再讀表獲取結(jié)果。
query_cache_limit 指定單個(gè)查詢(xún)能夠使用的緩沖區(qū)大小,缺省為1M;
query_cache_min_res_unit為系統(tǒng)分配的最小緩存塊大小,默認(rèn)是4KB,設(shè)置值大對(duì)大數(shù)據(jù)查詢(xún)有好處,但如果你的查詢(xún)都是小數(shù)據(jù)查詢(xún),就容易造成內(nèi)存碎片和浪費(fèi);query_cache_size:表示緩存的大小。
了解了以上的指標(biāo)后我們就可以在mysql的配置文件my.cnf中進(jìn)行設(shè)置。然后重啟mysl服務(wù)器即可。在[mysqld]下面添加參數(shù)。一般是設(shè)置query_cache_size和query_cache_type兩項(xiàng)。
2、上面查看的是我們進(jìn)行緩存的配置,它一般從配置文件中讀取值,但是有時(shí)候我們需要實(shí)時(shí)查看當(dāng)前mysql中的數(shù)據(jù)緩存大小。
mysql> show status like ’%qcache%’;+-------------------------+----------+| Variable_name | Value |+-------------------------+----------+| Qcache_free_blocks | 1|| Qcache_free_memory | 1031832 || Qcache_hits | 0|| Qcache_inserts | 0|| Qcache_lowmem_prunes | 0|| Qcache_not_cached | 16489053 || Qcache_queries_in_cache | 0|| Qcache_total_blocks | 1|+-------------------------+----------+8 rows in set (0.00 sec)
解釋?zhuān)?/p>
Qcache_free_memory:緩存中的空閑內(nèi)存。
Qcache_total_blocks:緩存中塊的數(shù)量。
Qcache_lowmem_prunes:緩存出現(xiàn)內(nèi)存不足并且必須要進(jìn)行清理以便為更多查詢(xún)提供空間的次數(shù)。這個(gè)數(shù)字最好長(zhǎng)時(shí)間來(lái)看;如果這個(gè) 數(shù)字在不斷增長(zhǎng),就表示可能碎片非常嚴(yán)重,或者內(nèi)存很少。如何確定就需要查看Qcache_free_blocks和Qcache_free_memory 兩項(xiàng)指標(biāo)。
3、清空緩存:
flush query cache命令
加大緩存有助于我們查詢(xún)的效率提高:
這里舉個(gè)例子:
mysql> use mob_adnDatabase changedmysql> select count(*) from creative_output;+----------+| count(*) |+----------+| 87151154 |+----------+1 row in set (3 min 18.29 sec)mysql> select count(*) from creative_output;+----------+| count(*) |+----------+| 87151154 |+----------+1 row in set (0.00 sec)mysql> select count(*) from creative_output;+----------+| count(*) |+----------+| 87151154 |+----------+1 row in set (0.00 sec)
可以看到緩存真的很厲害。
還有的同學(xué)會(huì)想到innodb_buffer_pool這個(gè)參數(shù),兩者的作用與區(qū)別我會(huì)接著來(lái)講。
順便這里在講解一下SQL幾項(xiàng)優(yōu)化(很好):
https://www.cnblogs.com/L-dongf/p/9163848.html
到此這篇關(guān)于MySQL的Query Cache圖文詳解的文章就介紹到這了,更多相關(guān)MySQL Query Cache內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. idea連接SQL Server數(shù)據(jù)庫(kù)的詳細(xì)圖文教程2. Oracle?Users表空間重命名問(wèn)題解決3. Docker部署Mysql集群的實(shí)現(xiàn)4. 連接Oracle數(shù)據(jù)庫(kù)失敗(ORA-12514)故障排除全過(guò)程5. SQL Server主鍵與外鍵設(shè)置以及相關(guān)理解6. Oracle中pivot函數(shù)圖文實(shí)例詳解7. 服務(wù)器Centos部署MySql并連接Navicat過(guò)程詳解8. MySQL 的啟動(dòng)和連接方式實(shí)例分析9. SQL Server全文檢索簡(jiǎn)介10. mybatis中方法返回泛型與resultType不一致的解決
