使用 Amazon EC2 Spot 优化 AWS 上 AssemblyAI 语音转文本推理的成本 | Amazon Web Services

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-14399 阅读💛 196 收藏
使用 Amazon EC2 Spot 优化 AWS 上 AssemblyAI 语音转文本推理的成本 | Amazon Web Services

📌 One-Sentence Summary

本文详细介绍 AssemblyAI 如何结合 Amazon ECS、EC2 Spot 实例和 SQS,在履行 SLA 承诺的同时,通过基于队列的重试机制和多 GPU 实例族分散策略,将 GPU 密集型语音转文本推理的成本降低 70%。

📝 Summary

AssemblyAI 需要大规模运行经济高效的 GPU 密集型语音转文本推理,同时不牺牲可用性或延迟表现。本文介绍了一种结合 Amazon ECS 容量提供商、覆盖 g4dn、g5 和 g6 GPU 实例族的 EC2 Spot 实例,以及基于 SQS 的重试机制的架构。当 Spot 实例收到 2 分钟中断通知时,正在处理的任务会被放回队列,由其他工作进程完成。与按需定价相比,该方案节省了 70% 的成本,同时通过在美国和欧盟区域进行部署,满足数据驻留要求。

💡 Main Points

AssemblyAI 采用覆盖 g4dn、g5 和 g6 实例类型的多实例族 GPU Spot 分散策略,以尽可能提高 Spot 容量的可用性并降低中断率。

通过将需求分散到 3 种 NVIDIA GPU 实例族(T4、A10G 和 L4),AssemblyAI 可以利用相互独立的容量池。当某个实例族面临容量压力时,其他实例族仍有可用容量,从而显著降低 Spot 实例中断的可能性。

基于 Amazon SQS 的队列重试架构能够妥善处理 Spot 实例中断,同时履行 SLA 承诺。

当 Spot 实例收到 2 分钟预警时,Spot 中断处理程序 Lambda 函数会将正在处理的任务放回 SQS 队列。其他运行正常的 ECS 任务可以立即接手这些任务,确保转录顺利完成,并尽量减少对客户的影响。

在美国西部俄勒冈区域和欧洲伦敦区域部署服务,有助于满足受监管行业的数据驻留合规要求。

每个 AWS 区域都运行一套独立的推理架构,拥有各自的 SQS 队列、ECS 集群和 GPU 资源池。这确保音频数据不会离开指定的地理边界,满足医疗、金融和法律领域的合规要求。

ECS 容量提供商结合 Spot 和按需实例,在节省成本与保障可靠性之间取得平衡。

按需容量提供商负责提供基础容量,Spot 容量提供商则覆盖多个 GPU 实例族。Amazon ECS 托管式扩缩会根据待处理的推理任务自动调整实例数量,从而优化成本和可用性。

💬 Key Quotes

通过在生产环境中运行配备 GPU 的 Amazon EC2 Spot 实例,AssemblyAI 相较于按需定价,在推理计算成本上节省了 70%。

在这样的规模下,AssemblyAI 发现,跨实例族和实例规格进行分散,是降低 Spot 实例中断率最有效的手段。

从第一天起就通过基于队列的重试和快速预热来设计容错能力,可以将 Spot 实例中断转化为日常事件,同时履行 SLA 承诺。

📊 Article Meta

AI Screening: 88

Source: AWS Artificial Intelligence

Author: Belair Albahagwi

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1416

Tags:

AI 与智能应用 , 机器学习 , AI 硬件与芯片 , AI Agent , Prompt缓存

#AI 与智能应用# 机器学习# AI 硬件与芯片# AI Agent# Prompt缓存

文章评论(12)

拾贝者1 天前

整理得太全面了,省了我不少时间。

回复
松听风2 天前

收藏了,以后慢慢研究。

回复
龙文博1 天前

有没有更详细的教程,期待后续。

回复
雪影1 天前

这个比较实用,已转发给同事。

回复
林拾贝1 天前

整理得太全面了,省了我不少时间。

回复
曹浩1 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏1 天前

思路清晰,干货满满。

回复
陈皮话梅糖1 天前

看标题就点进来了,内容果然没让人失望。

回复
星知秋1 天前

实话,说的不明不白

回复
白向阳1 天前

有没有更详细的教程,期待后续。

回复
星寻梦1 天前

楼主辛苦了,内容很有参考价值。

回复
龙文博1 天前

有没有更详细的教程,期待后续。

回复