概述
测试时计算扩展（Test-Time Compute Scaling）是一种通过在推理阶段增加计算资源来提升模型能力的新范式。与传统的仅依赖训练时缩放（增加模型参数、数据量）不同，测试时计算扩展在推理时动态分配更多计算资源，实现能力的质的飞跃。1
核心思想：在”思考”阶段投入更多计算资源，使模型能够进行更深层次的推理和验证。
背景：从训练时缩放到测试时缩放
训练时缩放定律
传统的缩放定律（Scaling Laws）表明，模型能力随着训练时使用的计算量（）、模型参数量（）和数据量（）的增加而提升：
其中 是测试损失，，。
训练时缩放的局限
- 计算成本高：训练一次大规模模型需要巨大的计算资源
- 适应新任务：训练后的模型难以快速适应新任务
- 固定能力：模型在所有问题上使用相同的计算量
测试时计算扩展的优势
| 维度 | 训练时缩放 | 测试时缩放 |
|---|---|---|
| 计算时机 | 训练阶段 | 推理阶段 |
| 灵活性 | 固定 | 可动态调整 |
| 成本结构 | 一次性大投入 | 按需分配 |
| 适应能力 | 需要微调 | 无需微调 |
定义与分类
什么是测试时计算
测试时计算（Test-Time Compute）是指模型在生成最终答案之前，用于”思考”和”推理”的计算资源。这包括：
- 额外的前向传播：多次评估输入
- 验证步骤：检查和修正中间结果
- 搜索过程：探索多个候选解决方案
- 内部独白：生成和分析中间推理步骤
方法分类
测试时计算扩展
├── 顺序扩展（Sequential Scaling）
│ ├── 链式推理（Chain-of-Thought）
│ ├── 长思维链（Long CoT）
│ └── 推理模型（o1/o3/R1）
│
├── 并行扩展（Parallel Scaling）
│ ├── 自我一致性（Self-Consistency）
│ ├── Best-of-N采样
│ └── 多数投票
│
├── 验证器方法（Verifier Methods）
│ ├── 过程奖励模型（PRM）
│ ├── 结果奖励模型（ORM）
│ └── 验证器网络
│
└── 搜索方法（Search Methods）
├── 蒙特卡洛树搜索（MCTS）
├── 束搜索（Beam Search）
└── 树状思考（Tree of Thoughts）
主要方法详解
1. 链式推理（Chain-of-Thought）
链式推理（CoT）通过让模型显式生成推理步骤来提升复杂推理能力：
# 标准提示
prompt = "计算 23 * 47"
response = model.generate(prompt) # 直接输出答案
# CoT提示
prompt_cot = """
问题：计算 23 * 47
让我们逐步思考：
1. 23 * 47 = 23 * (50 - 3)
2. 23 * 50 = 1150
3. 23 * 3 = 69
4. 1150 - 69 = 1081
答案：1081
"""
response = model.generate(prompt_cot) # 输出推理过程和答案关键发现：CoT在数学、代码、逻辑推理等任务上效果显著，但对简单任务帮助有限。
2. 自我一致性（Self-Consistency）
自我一致性通过采样多个推理路径并选择最一致的答案来提升性能：
def self_consistency(model, question, n_samples=40):
"""自我一致性：采样多个推理路径，选择最一致的答案"""
responses = []
for _ in range(n_samples):
# 使用不同的随机种子采样
response = model.generate(
question,
temperature=0.7,
do_sample=True
)
answer = extract_answer(response)
responses.append(answer)
# 多数投票
return Counter(responses).most_common(1)[0][0]实验结果：在GSM8K上，自我一致性将GPT-3的准确率从46%提升到74%。
3. Best-of-N采样
Best-of-N通过生成N个候选答案并使用验证器选择最佳答案：
def best_of_n(model, verifier, question, n=16):
"""Best-of-N：生成N个答案，用验证器选择最佳"""
candidates = []
for _ in range(n):
response = model.generate(question, temperature=0.8)
candidates.append(response)
# 用验证器打分
scores = [verifier.score(question, candidate) for candidate in candidates]
# 返回得分最高的
best_idx = argmax(scores)
return candidates[best_idx]4. 推理模型（o1/o3/R1）
OpenAI o1/o3和DeepSeek-R1等推理模型专门设计用于测试时计算扩展：
| 特性 | 标准LLM | 推理模型（o1/R1） |
|---|---|---|
| 推理方式 | 单次前向传播 | 多次迭代推理 |
| 计算分配 | 固定 | 动态调整 |
| 内部思考 | 不可见 | 可见/可分析 |
| 训练方式 | SFT + RLHF | 强化学习+过程奖励 |
缩放规律
测试时计算缩放定律
研究者发现，测试时计算也存在类似的缩放规律：
其中 是测试时使用的计算量。
实验证据
OpenAI o1的性能曲线：
| 基准 | GPT-4o | o1-preview | o1 |
|---|---|---|---|
| AIME 2024 | 9.3% | 44.6% | 74.6% |
| GPQA Diamond | 54.6% | 65.3% | 87.7% |
| MMLU | 86.4% | 72.6% | 91.8% |
关键观察：o1在需要深度推理的任务上提升显著，但在需要知识回忆的任务上可能不如GPT-4o。
计算-性能权衡
性能提升
▲
│ ╭──────── o1 (推理模型)
│ ╱
│ ╱
│ ╱ ╭─────── CoT + 验证
│ ╱ ╱
│ ╱╱
│ ╭────
│────╯ ╭─────── 标准CoT
│ │
└──────────────────────────────▶ 测试时计算
少 多
技术挑战
1. 效率与成本的权衡
测试时计算扩展会显著增加推理延迟和成本：
| 方法 | 延迟倍数 | 准确率提升 |
|---|---|---|
| CoT | 2-3x | 10-20% |
| Self-Consistency (N=40) | 40x | 15-25% |
| 推理模型 | 5-10x | 30-50% |
2. 推理质量的评估
如何评估”思考”过程的质量是一个开放问题：
- 结果正确 ≠ 推理正确
- 中间步骤的逻辑一致性
- 可解释性与可审计性
3. 测试时适应
模型需要能够根据问题难度动态调整计算量：
def adaptive_compute(model, question, max_iters=10):
"""自适应计算：根据问题难度调整推理量"""
# 检测问题难度
difficulty = estimate_difficulty(question)
# 根据难度分配计算资源
if difficulty == "easy":
return model.generate(question)
elif difficulty == "medium":
return chain_of_thought(model, question)
else: # hard
return iterative_refinement(model, question, max_iters)与其他方法的比较
推理增强方法对比
| 方法 | 扩展方式 | 适用场景 | 成本 |
|---|---|---|---|
| CoT | 顺序 | 数学、逻辑 | 低 |
| Self-Consistency | 并行 | 开放式问题 | 中 |
| Best-of-N | 并行+验证 | 有验证器的任务 | 中-高 |
| MCTS | 搜索 | 结构化问题 | 高 |
| 推理模型 | 端到端 | 复杂推理 | 中-高 |
与微调的对比
| 维度 | 测试时计算 | 模型微调 |
|---|---|---|
| 适应性 | 即时 | 需要训练 |
| 覆盖范围 | 广泛 | 特定领域 |
| 成本 | 推理成本 | 训练成本 |
| 遗忘风险 | 无 | 存在 |
实践指南
何时使用测试时计算
测试时计算扩展适用于以下场景：
- 复杂推理任务：数学证明、代码生成、逻辑推理
- 高价值决策：医疗诊断、法律分析、金融预测
- 需要验证的任务：有可检查的中间结果
- 资源不敏感：延迟和成本可接受
实现建议
# 测试时计算策略选择框架
def select_strategy(task_type, budget, accuracy_requirement):
"""
根据任务类型和资源约束选择测试时计算策略
"""
strategies = []
if budget == "low":
# 优先考虑CoT
strategies.append(("CoT", "低成本推理增强"))
elif budget == "medium":
# CoT + 简单验证
strategies.append(("CoT + 多数投票", "中等成本"))
elif budget == "high":
# 推理模型或MCTS
strategies.append(("推理模型 (o1/R1)", "高性能"))
strategies.append(("MCTS + PRM", "可验证任务"))
return strategies最佳实践
- 从简单开始：先尝试CoT，再考虑更复杂的方法
- 评估ROI：对比测试时成本 vs 准确率提升
- 任务适配：不同任务可能需要不同的推理策略
- 混合使用：可以组合多种方法
参考
相关主题
- 链式推理与思维链：深入理解CoT机制
- 推理模型架构：o1/o3/R1的内部机制
- 过程奖励模型：验证推理步骤质量
- Transformer缩放定律：训练时缩放
- 涌现能力：能力如何涌现