多模态知识智能体基准测试正式发布

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-11591 阅读💛 8 收藏
多模态知识智能体基准测试正式发布

📌 One-Sentence Summary

Google 推出多模态知识智能体(MKA)基准测试,用于评估 AI 智能体在 10 个专业领域中完成视觉复杂型知识工作任务的能力。

📝 Summary

Google 与 Artificial Analysis 合作推出多模态知识智能体(MKA)基准测试,评估 AI 智能体如何通过理解视觉复杂的文件进行推理,从而完成真实世界中的知识工作任务。与仅依赖文本的传统基准测试不同,MKA 聚焦 10 个行业领域、83 种职业中本质上具有视觉属性的专业工作流程,包含 200 项多步骤任务,经验丰富的专业人士需要 3-8 小时才能完成每项任务。每项任务都包含真实的提示词、多模态输入文件,以及由专家编写、包含 70 项加权是非判断的评分标准。该基准测试采用基于非 Google 模型构建的智能体式自动评测器,其评估结果与领域专家的吻合度达到 96%。私有评测集可防止数据泄漏,同时在 Hugging Face 上发布了 10 项公开任务,供开放测试。技术报告显示,前沿模型在效率上差异显著,每项任务需要 30-130 轮交互,凸显了视觉能力的关键作用。Gemini 4 Carbon 的质量排名位居第 2,完成任务的成本比排名第一的模型低 6x,因此跻身质量与价格的帕累托前沿。

💡 Main Points

MKA 基准测试面向超越纯文本任务的视觉复杂型知识工作

该基准测试覆盖 10 个行业领域中的真实专业工作流程,分别为商业、建筑、教育、工程、金融、医疗保健、法律与政府、物流与制图、科学、软件与数据。这些领域的日常工作本质上具有视觉属性,要求智能体能够处理建筑蓝图、工程示意图及其他多模态输入。

采用严谨的评估方法,结合专家设计的任务与自动评分

200 项任务中的每一项都包含真实的提示词、多模态输入文件,以及由专家编写、包含 70 项加权是非判断的评分标准,其中事实准确性占 75%,视觉设计占 25%。智能体式自动评测器与领域专家的评估结果吻合度达到 96%,同时通过私有任务集维护评估的完整性。

Gemini 4 Carbon 在基准测试中展现出良好的性能与成本平衡

在受测模型中,Gemini 4 Carbon 的质量排名位居第 2,完成任务的成本比排名第一的模型低 6x,因此跻身质量与价格的帕累托前沿,也表明出色的性能并不一定需要消耗过多资源。

💬 Key Quotes

我们推出了 MKA(多模态知识智能体),这是一项全新的基准测试,旨在评估智能体如何通过理解视觉复杂的文件进行推理,从而解决真实世界中的知识工作任务。

每项任务都模拟了一个多步骤项目,经验丰富的专业人士需要 3 到 8 小时才能完成。任务将真实的提示词和一组多模态输入文件,与一份由专家编写、包含约 70 项是非判断的评分标准结合起来,其中事实准确性占 75%,视觉设计占 25%。

在我们测试的模型中,Gemini 4 Carbon 的质量排名位居第 2,完成任务的平均成本比得分最高的模型低 6x。

📊 Article Meta

AI Screening: 85

Source: The Keyword (blog.google)

Author: Rohan Doshi

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 492

Tags:

AI 与智能应用 , 多模态 AI , 知识管理 , 模型训练与推理 , 视觉语言模型

#AI 与智能应用# 多模态 AI# 知识管理# 模型训练与推理# 视觉语言模型

文章评论(12)

竹听风5 天前

写得挺用心的,支持一下。

回复
林拾贝5 天前

看标题就点进来了,内容果然没让人失望。

回复
郭超5 天前

路过

回复
雪影5 天前

实话,说的不明不白

回复
蓝归舟5 天前

内容翔实,正好需要,先收藏再看。

回复
郭超5 天前

这篇文章分析得很透彻,收藏了!

回复
漾漾其华5 天前

很有价值的分享,感谢整理。

回复
暮拾贝5 天前

很有价值的分享,感谢整理。

回复
星知秋5 天前

这个比较实用,已转发给同事。

回复
曹浩5 天前

点赞,必须点赞

回复
三分糖去冰5 天前

实测过类似工具,作者说的基本属实。

回复
雪影5 天前

很有价值的分享,感谢整理。

回复