证据账簿将多模态推理性能提升至 15%

📌 One-Sentence Summary

将原始对话替换为显式的证据账簿，可以将多模态推理质量提升约十到十五个百分点，这由在 MMOU 基准测试中相对于基础 Qwen3-Omni-Instruct 模型获得的 16.3% 的绝对增益所证实。

📝 Summary

该论文提出了自适应多模态智能体推理，它用一份紧凑的、由查询驱动的观察列表来替换完整的上下文转录。这种转变允许模型按需重新注入特定证据，从而提高多个数据集上的下游分数。这些增益归功于一个两阶段的强化学习管道，并且在长篇视频任务中最为明显。

💡 Main Points

证据账簿将完整对话历史替换为一份紧凑的观察列表。

该系统并非将整个音视频序列输送给语言模型，而是提取短的、相关的片段，并将其附加到账簿之上。这使模型可以专注于具体的证据点，而无需筛选小时量的原始数据。

该方法在 MMOU 基准测试中产生了 16.3% 的绝对增益。

通过将庞大而笨重的全上下文转录换为一份针对性的观察列表，模型可以用同样数量的令牌预算进行更多推理步骤，从而在长篇视频任务中实现显著更高的准确率。

这些增益由一个两阶段的强化学习管道所驱动。

该论文利用了一个特定的 RL 设置来优化智能体的决策过程，这在很大程度上推动了多模态推理质量中的这种进步。

💬 Key Quotes

将原始对话替换为显式的证据账簿，可以将多模态推理质量提升约十到十五个百分点。

📊 Article Meta

AI Screening： 85

Source： DEV Community: machinelearning

Author： Papers Mache

Category： 人工智能

Language： 英文

Read Time： 2 min

Word Count： 396

Tags：

AI 与智能应用 , 模型训练与推理 , RAG / 检索增强 , 多模态 AI , AI Agent