AWS 推出 Bedrock Knowledge Bases 多模态 RAG:为图表、表格和示意图提供原生嵌入摄取能力

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-0957 阅读💛 38 收藏
AWS 推出 Bedrock Knowledge Bases 多模态 RAG:为图表、表格和示意图提供原生嵌入摄取能力

📌 One-Sentence Summary

AWS 在 Bedrock Knowledge Bases 中推出原生多模态 RAG,为企业 PDF 提供联合图像与文本嵌入,无需搭建 OCR 基础设施。

📝 Summary

AWS 为 Amazon Bedrock Knowledge Bases 增添原生多模态检索增强生成(RAG)功能,解决企业文档搜索中视觉上下文丢失的问题。该平台整合 Amazon Titan Multimodal Embeddings G1 和托管式文档视觉解析器,为文本、表格和图表构建统一的 1024 维语义空间。这样既无需依赖脆弱的 OCR 提取流程,也能让自主智能体查询、理解并引用文档中的视觉与文本内容。其架构包含智能版面分析、跨模态嵌入、托管式向量同步以及混合检索合成。基准测试结果显示,图表问答准确率为 91.8%,而纯文本 RAG 为 22.4%;表格召回率为 96.4%;摄取耗时为 15 分钟,而定制管线需要 3.5 周。生产环境实施建议包括针对图像密集型文档校准成本,以及管理多模态 LLM 的 Token 消耗。

💡 Main Points

原生多模态 RAG 无需搭建 OCR 基础设施

AWS Bedrock Knowledge Bases 直接整合 Titan Multimodal Embeddings G1 和托管式文档视觉解析器,无需定制 OCR 微服务即可联合生成图像与文本的向量嵌入。

统一的 1024 维语义空间支持跨模态检索

Titan Multimodal Embeddings G1 将图像、表格和文本投射到相同的语义坐标空间,使用户能够通过自然语言查询检索到准确的图表图像,无需手动标注。

托管式向量同步支持主流数据库引擎

Bedrock 可直接与 Amazon OpenSearch Serverless、搭载 pgvector 的 Aurora PostgreSQL 以及 Pinecone 同步,并自动处理增量抓取和元数据索引。

基准测试显著优于传统纯文本 RAG

在 250 份技术 PDF 上测试显示,图表问答准确率为 91.8%(纯文本 RAG 为 22.4%),表格召回率为 96.4%(纯文本 RAG 为 48.6%),摄取耗时为 15 分钟(定制管线需要 3.5 周)。

生产部署需要校准成本与 Token 消耗

图像密集型文档会产生嵌入成本,而多模态 LLM 每张图像约消耗 1,600 个视觉 Token。要满足企业级规模的应用需求,需要制定页面筛选规则并设置检索上限。

💬 Key Quotes

AWS 在 Bedrock Knowledge Bases 中推出原生多模态 RAG,为企业 PDF 提供联合图像与文本嵌入,无需搭建 OCR 基础设施。

Titan Multimodal Embeddings G1 将图像、表格和文本投射到统一的 1024 维语义空间。

图表问答准确率为 91.8%,而纯文本 RAG 为 22.4%。

15 分钟(AWS 托管 API),而定制流程需要 3.5 周。

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: Deepak Bagada

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1190

Tags:

AI 与智能应用 , AI 工程 , 向量数据库 , 计算机视觉 , 知识管理

#AI 与智能应用# AI 工程# 向量数据库# 计算机视觉# 知识管理

文章评论(12)

星寻梦6 天前

实测过类似工具,作者说的基本属实。

回复
晨沐雨6 天前

实话,说的不明不白

回复
星寻梦6 天前

实话,说的不明不白

回复
星寻梦6 天前

收藏了,以后慢慢研究。

回复
蓝临风6 天前

这个观点很中肯,深有同感。

回复
雪影6 天前

楼主辛苦了,内容很有参考价值。

回复
蓝光6 天前

写得挺用心的,支持一下。

回复
武磊6 天前

内容翔实,正好需要,先收藏再看。

回复
竹听风6 天前

讲解得很细致,新手也能看懂。

回复
云逐月6 天前

有没有更详细的教程,期待后续。

回复
拾贝者6 天前

这个比较实用,已转发给同事。

回复
林拾贝6 天前

支持作者,持续关注中。

回复