为 Amazon SageMaker AI 双向流式传输推出按使用量计费 | Amazon Web Services

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-12497 阅读💛 284 收藏
为 Amazon SageMaker AI 双向流式传输推出按使用量计费 | Amazon Web Services

📌 One-Sentence Summary

AWS 为 Amazon SageMaker AI 双向流式传输推出按使用量计量功能,使模型提供商能够根据实时会话中的实际用量收费,而非采用固定的小时费率;Deepgram 是首个合作伙伴,提供语音转文本和文本转语音计费服务。

📝 Summary

本文介绍了 Amazon SageMaker AI 双向流式传输的一种新计费机制,模型提供商可借此报告实时会话中的实际用量。这解决了语音转文本和文本转语音等实时服务的计费难题,因为这类服务的用量会随时间累积,而不是在请求开始时就固定下来。该系统通过一条配套的 WebSocket 连接,在传输主要推理流的同时发送计量数据,确保 AWS Marketplace 软件费用准确反映实际消耗的单位数。

💡 Main Points

按使用量计量解决了实时流式 AI 服务的计费难题。

传统的请求—响应 API 可以在响应标头中报告单位数,但双向流式会话的持续时间各不相同,用量也会随时间累积。配套的元数据流让模型提供商能够在会话结束时报告消耗的单位总数,使软件费用与实际用量相符。

该系统采用推理与计量分离的双连接架构。

双向流式会话开始时,SageMaker AI 会建立两条连接:一条传输实际推理数据(音频/文本),另一条传输计量元数据。模型服务器通过元数据流发送 JSON 记录,报告累积用量;这些数据随后用于计算 AWS Marketplace 费用。

Deepgram 是这项新功能的首发合作伙伴。

实时语音 AI 服务提供商 Deepgram 是首家在 AWS Marketplace 上采用这一按使用量计费模式的厂商。客户因此可以按实际使用的语音转文本或文本转语音服务时长付费,而不必为端点支付固定的小时费率。

💬 Key Quotes

「Amazon SageMaker 双向(bidi)流式推理的按使用量计量功能,让模型提供商能够为 AWS Marketplace 软件费用报告实际用量。」

📊 Article Meta

AI Screening: 85

Source: AWS Artificial Intelligence

Author: Victor Wang

Category: 人工智能

Language: 英文

Read Time: 10 min

Word Count: 2448

Tags:

AI 与智能应用 , 模型训练与推理 , 云原生 / DevOps , AWS , 语音转文本

#AI 与智能应用# 模型训练与推理# 云原生 / DevOps# AWS# 语音转文本

文章评论(12)

龙文博3 天前

支持作者,持续关注中。

回复
蓝问津3 天前

实话,说的不明不白

回复
曹浩3 天前

实测过类似工具,作者说的基本属实。

回复
月沐雨3 天前

不错不错,已加入书签。

回复
蓝归舟3 天前

支持作者,持续关注中。

回复
龙文博3 天前

点赞,必须点赞

回复
雪影3 天前

写得挺用心的,支持一下。

回复
曹浩3 天前

路过

回复
林观澜3 天前

思路清晰,干货满满。

回复
一个橘子3 天前

点赞,必须点赞

回复
拾贝者3 天前

这个比较实用,已转发给同事。

回复
暮临风3 天前

看标题就点进来了,内容果然没让人失望。

回复