多智能体强化学习索引

概述

欢迎来到多智能体强化学习（Multi-Agent Reinforcement Learning，MARL）专题。本专题系统整理了从基础理论到前沿应用的完整知识体系，涵盖合作、竞争和混合博弈场景。

内容导航

团队竞争博弈与均衡学习

策略推理与通信协议

可扩展MARL算法

算法基础

学习路径建议

入门路径

基础理论
│
├─→ 1. 强化学习基础
│     ├─→ [[../reinforcement-learning/mdp-basics|MDP基础]]
│     ├─→ [[../reinforcement-learning/bellman-equations|贝尔曼方程]]
│     └─→ [[../reinforcement-learning/policy-gradient|策略梯度]]
│
├─→ 2. MARL入门
│     ├─→ [[multi-agent-rl-introduction|MARL基础]]
│     └─→ [[marl-value-factorization|值分解基础]]
│
└─→ 3. 经典算法
      ├─→ [[marl-policy-gradient|策略梯度MARL]]
      └─→ [[marl-communication|通信协议]]

进阶路径

合作博弈深化
│
├─→ 1. CTDE范式
│     ├─→ [[marl-value-factorization|VDN/QMIX深入理解]]
│     └─→ [[team-competition-global-nash|全局Nash均衡]]
│
├─→ 2. 协调机制
│     ├─→ [[deep-meta-coordination-graphs|协调图学习]]
│     └─→ [[emergent-coordination-phase-structure|涌现协调]]
│
├─→ 3. 通信与协作
│     ├─→ [[emergent-communication-protocols|涌现通信]]
│     └─→ [[llm-driven-multi-agent-coordination|LLM协调]]
│
└─→ 4. 规模化
      └─→ [[scalable-multi-agent-rl-transformers|Transformer MARL]]

研究前沿路径

前沿专题
│
├─→ 1. 理论基础
│     ├─→ [[convex-markov-games|凸博弈理论]]
│     └─→ [[k-level-policy-gradients|Level-K推理]]
│
├─→ 2. 架构创新
│     ├─→ [[oryx-scalable-multi-agent-sequence|Oryx框架]]
│     └─→ [[taac-team-attention-actor-critic|团队注意力]]
│
├─→ 3. 通信涌现
│     └─→ [[emergent-communication-protocols|语言涌现]]
│
└─→ 4. 实践应用
      └─→ [[../reinforcement-learning/index|RLHF与对齐]]（跨领域）

核心概念速查表

博弈论基础

马尔可夫博弈的形式化

一个 $N$ 智能体的马尔可夫博弈定义为：

• $\mathcal{S}$：联合状态空间
• ${\mathcal{A}}_i$：智能体 $i$ 的动作空间
• $\mathcal{P}(s^{\prime }|s,a_1,\dots ,a_N)$：转移概率
• ${\mathcal{R}}_i(s,a_1,\dots ,a_N)$：智能体 $i$ 的奖励

MARL算法分类

按学习范式

按架构范式

CTDE方法详解

┌─────────────────────────────────────────────┐
│              训练阶段（可访问全局信息）          │
│                                              │
│  ┌─────────┐    ┌─────────┐    ┌─────────┐  │
│  │ Agent 1 │    │ Agent 2 │... │ Agent N │  │
│  │ Q₁(s,a) │    │ Q₂(s,a) │    │ Qₙ(s,a) │  │
│  └────┬────┘    └────┬────┘    └────┬────┘  │
│       │              │              │        │
│       └──────────────┼──────────────┘        │
│                      ▼                        │
│              ┌─────────────┐                  │
│              │  Mixer Network │ ← QMIX/QTRAN  │
│              └─────────────┘                  │
└─────────────────────────────────────────────┘
                      │
                      ▼ 训练完成
┌─────────────────────────────────────────────┐
│              执行阶段（仅局部观察）              │
│                                              │
│  ┌─────────┐    ┌─────────┐    ┌─────────┐  │
│  │ Agent 1 │    │ Agent 2 │... │ Agent N │  │
│  │ Q₁(o₁,a₁)│   │ Q₂(o₂,a₂)│   │ Qₙ(oₙ,aₙ)│  │
│  └─────────┘    └─────────┘    └─────────┘  │
└─────────────────────────────────────────────┘

关键定理

1. 值函数分解定理（VDN）

可加性条件：如果满足：

则团队奖励的最优可以通过独立优化每个 $Q_i$ 获得。

2. QMIX单调性条件

如果存在单调混合器 $f$ 使得：

则可以保证IGM（Individual-Global-Max）一致性。

3. 弗里斯比-卢卡斯定理（Multi-Agent Generalization）

多智能体设置下的泛化误差界：

其中 $N$ 是智能体数，$C$ 是复杂度度量，$m$ 是样本数。

核心公式速查表

FCP迭代公式

Fully Cooperative Policy (FCP) 迭代用于求解团队博弈的纳什均衡：

固定点条件：

cMG目标函数

合作马尔可夫博弈（cooperative Markov Game, cMG）的目标：

梯度公式（智能体 $i$）：

K-Level梯度

K-Level递归对手建模的梯度：

其中：

• $A_i^{(k)}(s,a_i)=Q^{{\pi }^{(k-1)}}(s,\dots ,a_i,\dots )-V^{{\pi }^{(k-1)}}(s)$
• Level-0：随机策略
• Level-1：假设对手随机
• Level-K：假设对手是Level-(K-1)

相关主题链接

强化学习基础

MARL进阶

博弈论

通信与协调

可扩展学习

附录

术语表

常用环境

论文推荐

经典工作

前沿工作

参考