TwelveLabs 的 Pegasus 1.5 现已在 Amazon Bedrock 上推出 | Amazon Web Services

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-20653 阅读💛 187 收藏
TwelveLabs 的 Pegasus 1.5 现已在 Amazon Bedrock 上推出 | Amazon Web Services

📌 One-Sentence Summary

AWS 推出 TwelveLabs 的 Pegasus 1.5,这是一款视频语言模型,可通过视频分段和多模态提示词,将长视频转换为带时间戳的结构化元数据。

📝 Summary

AWS 宣布 Pegasus 1.5 已在 Amazon Bedrock 上推出。与只能回答特定片段相关问题的早期版本不同,Pegasus 1.5 可以分析完整视频(最长 2 小时),查找符合用户条件的片段,并以结构化 JSON 格式返回结果。其主要功能包括生成基于时间的元数据、使用参考图像进行多模态提示,以及无需预先建立索引即可即时处理视频。该模型支持 S3 URI 或 base64 字符串,数据始终保留在 AWS 边界内。

💡 Main Points

Pegasus 1.5 从基于片段的问答转向完整视频分析。

该模型现在可以处理最长 2 小时的视频,找出所有符合条件的片段,而不只是回答有关给定片段的问题。

多模态提示词支持基于视觉参考进行查询。

用户可以结合文字描述和参考图像,在视频内容中查找特定产品、徽标或人物。

即时处理免去了预先建立索引的开销。

视频可以直接从 S3 发送,也可以通过 base64 字符串提供,无需复杂的数据摄取或索引流程。

通过两种分析模式输出结构化 JSON。

「general」模式提供文本答案,而「time_based_metadata」模式则返回具体片段及精确的开始和结束时间戳。

💬 Key Quotes

Pegasus 1.5 是一款视频语言模型,可将长视频转换为带时间戳的结构化元数据。

你可以按照自己的方式描述重要时刻,模型便会以 JSON 格式返回所有匹配片段。

无需数据摄取流程,也无需预先建立索引。

📊 Article Meta

AI Screening: 86

Source: AWS Artificial Intelligence

Author: Ron Tal

Category: 人工智能

Language: 英文

Read Time: 13 min

Word Count: 3106

Tags:

AI 与智能应用 , 计算机视觉 , 多模态 AI , 云原生 / DevOps , AWS

#AI 与智能应用# 计算机视觉# 多模态 AI# 云原生 / DevOps# AWS

文章评论(12)

三分糖去冰26 天前

这篇文章分析得很透彻,收藏了!

回复
逐光而行26 天前

整理得太全面了,省了我不少时间。

回复
南山客26 天前

刚好最近在找这方面的资料,太及时了。

回复
松听风26 天前

路过

回复
星知秋26 天前

思路清晰,干货满满。

回复
雪知秋26 天前

点赞,必须点赞

回复
黄小刚26 天前

赞同,实践出真知。

回复
逐光而行26 天前

刚好最近在找这方面的资料,太及时了。

回复
曹浩26 天前

这篇文章分析得很透彻,收藏了!

回复
雪知秋26 天前

内容翔实,正好需要,先收藏再看。

回复
墨沐雨26 天前

看标题就点进来了,内容果然没让人失望。

回复
杨丽华26 天前

楼主辛苦了,内容很有参考价值。

回复