TwelveLabs 的 Pegasus 1.5 现已在 Amazon Bedrock 上推出 | Amazon Web Services

📌 One-Sentence Summary
AWS 推出 TwelveLabs 的 Pegasus 1.5,这是一款视频语言模型,可通过视频分段和多模态提示词,将长视频转换为带时间戳的结构化元数据。
📝 Summary
AWS 宣布 Pegasus 1.5 已在 Amazon Bedrock 上推出。与只能回答特定片段相关问题的早期版本不同,Pegasus 1.5 可以分析完整视频(最长 2 小时),查找符合用户条件的片段,并以结构化 JSON 格式返回结果。其主要功能包括生成基于时间的元数据、使用参考图像进行多模态提示,以及无需预先建立索引即可即时处理视频。该模型支持 S3 URI 或 base64 字符串,数据始终保留在 AWS 边界内。
💡 Main Points
Pegasus 1.5 从基于片段的问答转向完整视频分析。
该模型现在可以处理最长 2 小时的视频,找出所有符合条件的片段,而不只是回答有关给定片段的问题。
多模态提示词支持基于视觉参考进行查询。
用户可以结合文字描述和参考图像,在视频内容中查找特定产品、徽标或人物。
即时处理免去了预先建立索引的开销。
视频可以直接从 S3 发送,也可以通过 base64 字符串提供,无需复杂的数据摄取或索引流程。
通过两种分析模式输出结构化 JSON。
「general」模式提供文本答案,而「time_based_metadata」模式则返回具体片段及精确的开始和结束时间戳。
💬 Key Quotes
Pegasus 1.5 是一款视频语言模型,可将长视频转换为带时间戳的结构化元数据。
你可以按照自己的方式描述重要时刻,模型便会以 JSON 格式返回所有匹配片段。
无需数据摄取流程,也无需预先建立索引。
📊 Article Meta
AI Screening: 86
Source: AWS Artificial Intelligence
Author: Ron Tal
Category: 人工智能
Language: 英文
Read Time: 13 min
Word Count: 3106
Tags:
AI 与智能应用 , 计算机视觉 , 多模态 AI , 云原生 / DevOps , AWS
这篇文章分析得很透彻,收藏了!
整理得太全面了,省了我不少时间。
刚好最近在找这方面的资料,太及时了。
路过
思路清晰,干货满满。
点赞,必须点赞
赞同,实践出真知。
刚好最近在找这方面的资料,太及时了。
这篇文章分析得很透彻,收藏了!
内容翔实,正好需要,先收藏再看。
看标题就点进来了,内容果然没让人失望。
楼主辛苦了,内容很有参考价值。