当前位置: 首页 > news >正文

(七)MySQL是如何将LRU链表的使用性能优化到极致的?

(一)大白话MySQL执行SQL的流程

(二)大白话InnoDB存储引擎的架构设计

(三)大白话MySQL Binlog是什么?

(四)MySQL的Buffer Pool内存结构

(五)MySQL的Buffer Pool的free链表、flush链表、LRU链表

(六)MySQL是如何基于冷热数据分离的方案,来优化LRU算法?

(七)MySQL是如何将LRU链表的使用性能优化到极致的?

文章目录

    • 1、LRU链表的热数据区域是如何进行优化的?
    • 2、定时把LRU尾部的部分缓存页刷入磁盘
    • 3、把flush链表中的一些缓存页定时刷入磁盘
    • 4、实在没有空闲缓存页了怎么办?

1、LRU链表的热数据区域是如何进行优化的?

接着我们来看看LRU链表的热数据区域的一个性能优化的点,就是说,在热数据区域中,如果你访问了一个缓存页,是不是应该要把他立马移动到热数据区域的链表头部去?
在这里插入图片描述
但是你要知道,热数据区域里的缓存页可能是经常被访问的,所以这么频繁的进行移动是不是性能也并不是太好?也没这个必要。

所以说,LRU链表的热数据区域的访问规则被优化了一下,即你只有在热数据区域的后3/4部分的缓存页被访问了,才会给你移动到链表头部去

如果你是热数据区域的前面1/4的缓存页被访问,他是不会移动到链表头部去的。

举个例子,假设热数据区域的链表里有100个缓存页,那么排在前面的25个缓存页,他即使被访问了,也不会移动到链表头部去的。但是对于排在后面的75个缓存页,他只要被访问,就会移动到链表头部去。

这样的话,他就可以尽可能的减少链表中的节点移动了。

2、定时把LRU尾部的部分缓存页刷入磁盘

我们已经知道,他是根据LRU链表去淘汰缓存页的,那么他到底是什么时候把LRU链表的冷数据区域中的缓存页刷入磁盘的呢?实际上他有几个时机。

首先第一个时机,并不是在缓存页满的时候,才会挑选LRU冷数据区域尾部的几个缓存页刷入磁盘,而是有一个后台线程,他会运行一个定时任务,这个定时任务每隔一段时间就会把LRU链表的冷数据区域的尾部的一些缓存页,刷入磁盘里去,清空这几个缓存页,把他们加入回free链表去

所以实际上在缓存页没用完的时候,可能就会清空一些缓存页了,我们看下面的图示。
在这里插入图片描述

所以大家会发现,只要有这个后台线程定时运行,可能你的缓存页都没用完呢,人家就给你把一批冷数据的缓存页刷入磁盘,清空出来一批缓存页,那么你就多了一批可以使用的空闲缓存页了!

所以如果在一个动态的运行效果中思考,大概就是你不停的加载数据到一些空闲的缓存页里去,然后这些缓存页可能被使用,会在lru链表中各种移动。然后同时有一个后台线程还不停的把冷数据区域的一些不用的缓存页刷入磁盘中,清空一些缓存页出来。

只要有缓存页被刷人磁盘,大家可以想象一下,那么这个缓存页必然会加入到free链表中,从flush链表中移除,从lru链表中移除。

3、把flush链表中的一些缓存页定时刷入磁盘

如果仅仅是把LRU链表中的冷数据区域的缓存页刷入磁盘,大家觉得够吗?

明显不够啊,因为在lru链表的热数据区域里的很多缓存页可能也会被频繁的修改,难道他们永远都不刷入磁盘中了吗

所以这个后台线程同时也会在MySQL不怎么繁忙的时候,找个时间把flush链表中的缓存页都刷入磁盘中,这样被你修改过的数据,迟早都会刷入磁盘的!

只要flush链表中的一波缓存页被刷入了磁盘,那么这些缓存页也会从flush链表和lru链表中移除,然后加入到free链表中去!

所以你可以理解为,你一边不停的加载数据到缓存页里去,不停的查询和修改缓存数据,然后free链表中的缓存页不停的在减少,flush链表中的缓存页不停的在增加,lru链表中的缓存页不停的在增加和移动。

另外一边,你的后台线程不停的在把lru链表的冷数据区域的缓存页以及flush链表的缓存页,刷入磁盘中来清空缓存页,然后flush链表和lru链表中的缓存页在减少,free链表中的缓存页在增加。

这就是一个动态运行起来的效果!

4、实在没有空闲缓存页了怎么办?

此时可能所有的free链表都被使用了,然后flush链表中有一大堆被修改过的缓存页,lru链表中有一大堆的缓存页,根据冷热数据进行了分离,大致是如此的效果。

这个时候如果要从磁盘加载数据页到一个空闲缓存页中,此时就会从LRU链表的冷数据区域的尾部找到一个缓存页,他一定是最不经常使用的缓存页!然后把他刷入磁盘和清空,然后把数据页加载到这个腾出来的空闲缓存页里去!

这就是MySQL的Buffer Pool缓存机制的一整套运行原理!我们已经完整的讲完了缓存页的加载和使用,以及free链表、flush链表、lru链表是怎么使用的,包括缓存页是如何刷入磁盘腾出来空闲缓存页的,以及缓存页没有空闲的时候应该怎么处理。

大家首先理解了最近几篇文章之后,就应该完全理解了,MySQL在执行CRUD操作的时候,是如何尽可能基于内存中的缓存来处理的。

相关文章:

  • MySql(28)InnoDB和MyISAM索引对比
  • 【数据库系统概论】实验四 数据编辑及查询
  • windows 驱动与内核调试 学习
  • F450无人机组装与调试
  • Dubbo:@DubboService和@Service、@DubboReference和@Reference的区别和关系
  • Vue2:使用Vant UI实现网易云评论页上拉和下拉刷新
  • 公众号查题接口系统调用
  • 用servlet写一个hello word
  • myj的补作业计划HrbustOJ新生赛(struct+优先队列)
  • canal的入门与使用
  • 病毒营销增长策略:Facebook和 Airbnb的5个病毒传播方法
  • C++:特殊类设计
  • Spring如何记忆
  • 材料科学基础学习指导-吕宇鹏-名词和术语解释-第二章晶体缺陷
  • 线段树2----简单拓展
  • 77. Combinations
  • echarts花样作死的坑
  • HTTP中GET与POST的区别 99%的错误认识
  • java8-模拟hadoop
  • JavaScript函数式编程(一)
  • java小心机(3)| 浅析finalize()
  • leetcode讲解--894. All Possible Full Binary Trees
  • MySQL QA
  • vue2.0项目引入element-ui
  • Zsh 开发指南(第十四篇 文件读写)
  • 聚簇索引和非聚簇索引
  • 使用 Xcode 的 Target 区分开发和生产环境
  • 算法系列——算法入门之递归分而治之思想的实现
  • 一起来学SpringBoot | 第三篇:SpringBoot日志配置
  • nb
  • 整理一些计算机基础知识!
  • ​Distil-Whisper:比Whisper快6倍,体积小50%的语音识别模型
  • #!/usr/bin/python与#!/usr/bin/env python的区别
  • #1015 : KMP算法
  • #HarmonyOS:软件安装window和mac预览Hello World
  • #if和#ifdef区别
  • #Linux杂记--将Python3的源码编译为.so文件方法与Linux环境下的交叉编译方法
  • #微信小程序:微信小程序常见的配置传旨
  • $$$$GB2312-80区位编码表$$$$
  • (4) PIVOT 和 UPIVOT 的使用
  • (HAL)STM32F103C6T8——软件模拟I2C驱动0.96寸OLED屏幕
  • (分布式缓存)Redis哨兵
  • (附源码)springboot人体健康检测微信小程序 毕业设计 012142
  • (附源码)springboot学生选课系统 毕业设计 612555
  • (过滤器)Filter和(监听器)listener
  • (蓝桥杯每日一题)平方末尾及补充(常用的字符串函数功能)
  • (三分钟了解debug)SLAM研究方向-Debug总结
  • (转)大型网站的系统架构
  • .Net CoreRabbitMQ消息存储可靠机制
  • .net 后台导出excel ,word
  • .NET/ASP.NETMVC 深入剖析 Model元数据、HtmlHelper、自定义模板、模板的装饰者模式(二)...
  • .NET简谈设计模式之(单件模式)
  • .NET中 MVC 工厂模式浅析
  • @Async注解的坑,小心
  • @Bean注解详解