Buffer Pool

简介

Buffer Pool（缓冲池）是数据库存储引擎在内存中缓存数据页和索引页的核心区域。其主要目的：

减少磁盘 I/O：热数据直接由内存提供访问
提高查询性能：避免每次访问都读取磁盘
作为写缓冲：脏页在内存中合并后批量刷盘

InnoDB Buffer Pool 架构

基本结构

InnoDB 默认 page 大小为 16KB，缓冲池大小建议设置为可用内存的 70-80%：

-- 查看缓冲池大小
SHOW VARIABLES LIKE 'innodb_buffer_pool_size';
-- 推荐：设置为服务器可用内存的 70-80%

页管理链表

InnoDB 将缓冲池实现为一个链表，使用 LRU 算法的变体——**Midpoint Insertion（中间插入）**策略。

LRU 算法与 Midpoint Insertion

标准 LRU 的问题

全表扫描（Full Table Scan）会将大量冷数据加载到缓冲池，可能将热数据驱逐出内存。

InnoDB 的解决方案：Midpoint Insertion

InnoDB 将 LRU 链表分为两个子列表：

                    ←——— 新数据插入点（Midpoint）———→
┌─────────────────────┬─────────────────────┐
│   Young (Hot) List  │   Old (Cold) List   │
│   经常访问的页       │   刚加载的页          │
│   (~5/8 of pool)    │   (~3/8 of pool)     │
└─────────────────────┴─────────────────────┘
        ↑                              ↑
     热点端                          淘汰端

工作原理：

新读取的页插入到中间点（old list 头部），而非整个 list 的头部
只有当页在 old list 中被再次访问时，才会晋升到 young list
通过 innodb_old_blocks_time 控制访问延迟（默认 1000ms）

-- 控制 old list 占比（默认 37，即 3/8）
SHOW VARIABLES LIKE 'innodb_old_blocks_pct';
 
-- 控制页晋升前的访问延迟
SHOW VARIABLES LIKE 'innodb_old_blocks_time';

监控 Buffer Pool

-- 查看缓冲池命中率（应 > 99%）
SELECT 
    variable_name,
    variable_value
FROM performance_schema.global_status 
WHERE variable_name IN (
    'Innodb_buffer_pool_reads',         -- 磁盘读取数（未命中）
    'Innodb_buffer_pool_read_requests' -- 总读取请求数
);
-- 命中率 = 1 - (reads / read_requests)

CLOCK-sweep 算法 vs LRU

PostgreSQL 的选择

PostgreSQL 使用 CLOCK-sweep 算法作为 LRU 的替代方案：

特性	LRU	CLOCK-sweep
数据结构	有序链表	环形缓冲区
访问时操作	删除并重新插入	仅增加计数器
多线程竞争	需要锁	原子操作，冲突少
近似精度	精确	近似（可能不均匀）

CLOCK-sweep 工作原理

PostgreSQL 为每个 buffer 维护一个 usage_count：

页被访问时，usage_count++（上限通常为 5）
需要驱逐时，环形遍历 buffer
如果 usage_count > 0，则 usage_count-- 并继续
如果 usage_count == 0，选择该页作为 victim

Dirty Page 刷新机制

脏页概念

在缓冲池中被修改但尚未刷盘的页称为脏页（Dirty Page）。

InnoDB 刷新策略

-- 控制触发刷新的脏页比例阈值
SHOW VARIABLES LIKE 'innodb_max_dirty_pages_pct';  -- 默认 90
 
-- 控制刷新线程 I/O 能力
SHOW VARIABLES LIKE 'innodb_io_capacity';           -- 默认 200
SHOW VARIABLES LIKE 'innodb_io_capacity_max';       -- 最大 2000

刷新的触发条件

脏页比例超过阈值：innodb_max_dirty_pages_pct
缓冲池空闲页不足：innodb_buffer_pool_pages_free
** redo log 空间紧张**：需要推进 checkpoint

Read-Ahead 预取策略

线性预读（Linear Read-Ahead）

检测到顺序访问某区间的页时，预测下一步可能访问相邻页，提前加载。

随机预读（Random Read-Ahead）

某页已在缓冲池中，但其相邻的多个页也在缓冲池时，触发预读。

-- 随机预读默认关闭
SHOW VARIABLES LIKE 'innodb_random_read_ahead';  -- 默认 OFF

多实例缓冲池

当缓冲池很大时（> 1GB），InnoDB 将其分为多个独立实例，减少锁竞争：

-- 查看实例数
SHOW VARIABLES LIKE 'innodb_buffer_pool_instances';
 
-- 推荐配置：
-- < 1GB:   1 个实例
-- 1-8GB:   2-4 个实例
-- 8-64GB:  4-8 个实例
-- > 64GB:  8-16 个实例

配置示例：

SET GLOBAL innodb_buffer_pool_size = 32 * 1024 * 1024 * 1024;  -- 32GB
SET GLOBAL innodb_buffer_pool_instances = 8;                     -- 8 实例，每实例 4GB

PostgreSQL Buffer Manager

配置参数

-- PostgreSQL 共享缓冲池（推荐 25% RAM）
SHOW shared_buffers;
-- 起始值建议：25% of RAM
-- 更精确的调优需要根据工作负载测试

Free List

PostgreSQL 维护一个 free list，包含空闲的 buffer slot。新页首先从 free list 分配。

Ring Buffer

对于大顺序扫描（如 VACUUM、备份），PostgreSQL 使用小的 ring buffer（默认 256KB），避免污染共享缓冲池。

实战调优建议

检测缓冲池抖动（Thrashing）

-- 抖动症状：空闲页为 0，磁盘读取持续增加
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_pages_free';
SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_reads';

InnoDB 调优参数总结

-- 容量规划
SET GLOBAL innodb_buffer_pool_size = <70%_RAM>;  -- 足够大以容纳工作集
 
-- 实例数（配合大缓冲池）
SET GLOBAL innodb_buffer_pool_instances = 8;
 
-- 刷新策略
SET GLOBAL innodb_max_dirty_pages_pct = 75;     -- 更高刷新频率
SET GLOBAL innodb_io_capacity = 1000;           -- 更高 I/O 能力

InnoDB vs PostgreSQL 缓冲管理对比

特性	InnoDB	PostgreSQL
替换算法	Midpoint Insertion LRU	CLOCK-sweep
页大小	16KB（可配置）	8KB
缓冲池配置	`innodb_buffer_pool_size`	`shared_buffers`
多实例	支持（`buffer_pool_instances`）	不需要（独立进程）
大表扫描保护	Ring buffer（可配置）	Ring buffer（自动）
预估调优起点	70-80% RAM	25% RAM

Metaphor

探索