多模态知识智能体基准测试正式发布

📌 One-Sentence Summary
Google 推出多模态知识智能体(MKA)基准测试,用于评估 AI 智能体在 10 个专业领域中完成视觉复杂型知识工作任务的能力。
📝 Summary
Google 与 Artificial Analysis 合作推出多模态知识智能体(MKA)基准测试,评估 AI 智能体如何通过理解视觉复杂的文件进行推理,从而完成真实世界中的知识工作任务。与仅依赖文本的传统基准测试不同,MKA 聚焦 10 个行业领域、83 种职业中本质上具有视觉属性的专业工作流程,包含 200 项多步骤任务,经验丰富的专业人士需要 3-8 小时才能完成每项任务。每项任务都包含真实的提示词、多模态输入文件,以及由专家编写、包含 70 项加权是非判断的评分标准。该基准测试采用基于非 Google 模型构建的智能体式自动评测器,其评估结果与领域专家的吻合度达到 96%。私有评测集可防止数据泄漏,同时在 Hugging Face 上发布了 10 项公开任务,供开放测试。技术报告显示,前沿模型在效率上差异显著,每项任务需要 30-130 轮交互,凸显了视觉能力的关键作用。Gemini 4 Carbon 的质量排名位居第 2,完成任务的成本比排名第一的模型低 6x,因此跻身质量与价格的帕累托前沿。
💡 Main Points
MKA 基准测试面向超越纯文本任务的视觉复杂型知识工作
该基准测试覆盖 10 个行业领域中的真实专业工作流程,分别为商业、建筑、教育、工程、金融、医疗保健、法律与政府、物流与制图、科学、软件与数据。这些领域的日常工作本质上具有视觉属性,要求智能体能够处理建筑蓝图、工程示意图及其他多模态输入。
采用严谨的评估方法,结合专家设计的任务与自动评分
200 项任务中的每一项都包含真实的提示词、多模态输入文件,以及由专家编写、包含 70 项加权是非判断的评分标准,其中事实准确性占 75%,视觉设计占 25%。智能体式自动评测器与领域专家的评估结果吻合度达到 96%,同时通过私有任务集维护评估的完整性。
Gemini 4 Carbon 在基准测试中展现出良好的性能与成本平衡
在受测模型中,Gemini 4 Carbon 的质量排名位居第 2,完成任务的成本比排名第一的模型低 6x,因此跻身质量与价格的帕累托前沿,也表明出色的性能并不一定需要消耗过多资源。
💬 Key Quotes
我们推出了 MKA(多模态知识智能体),这是一项全新的基准测试,旨在评估智能体如何通过理解视觉复杂的文件进行推理,从而解决真实世界中的知识工作任务。
每项任务都模拟了一个多步骤项目,经验丰富的专业人士需要 3 到 8 小时才能完成。任务将真实的提示词和一组多模态输入文件,与一份由专家编写、包含约 70 项是非判断的评分标准结合起来,其中事实准确性占 75%,视觉设计占 25%。
在我们测试的模型中,Gemini 4 Carbon 的质量排名位居第 2,完成任务的平均成本比得分最高的模型低 6x。
📊 Article Meta
AI Screening: 85
Source: The Keyword (blog.google)
Author: Rohan Doshi
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 492
Tags:
AI 与智能应用 , 多模态 AI , 知识管理 , 模型训练与推理 , 视觉语言模型
写得挺用心的,支持一下。
看标题就点进来了,内容果然没让人失望。
路过
实话,说的不明不白
内容翔实,正好需要,先收藏再看。
这篇文章分析得很透彻,收藏了!
很有价值的分享,感谢整理。
很有价值的分享,感谢整理。
这个比较实用,已转发给同事。
点赞,必须点赞
实测过类似工具,作者说的基本属实。
很有价值的分享,感谢整理。