使用 Amazon EC2 Spot 优化 AWS 上 AssemblyAI 语音转文本推理的成本 | Amazon Web Services

📌 One-Sentence Summary
本文详细介绍 AssemblyAI 如何结合 Amazon ECS、EC2 Spot 实例和 SQS,在履行 SLA 承诺的同时,通过基于队列的重试机制和多 GPU 实例族分散策略,将 GPU 密集型语音转文本推理的成本降低 70%。
📝 Summary
AssemblyAI 需要大规模运行经济高效的 GPU 密集型语音转文本推理,同时不牺牲可用性或延迟表现。本文介绍了一种结合 Amazon ECS 容量提供商、覆盖 g4dn、g5 和 g6 GPU 实例族的 EC2 Spot 实例,以及基于 SQS 的重试机制的架构。当 Spot 实例收到 2 分钟中断通知时,正在处理的任务会被放回队列,由其他工作进程完成。与按需定价相比,该方案节省了 70% 的成本,同时通过在美国和欧盟区域进行部署,满足数据驻留要求。
💡 Main Points
AssemblyAI 采用覆盖 g4dn、g5 和 g6 实例类型的多实例族 GPU Spot 分散策略,以尽可能提高 Spot 容量的可用性并降低中断率。
通过将需求分散到 3 种 NVIDIA GPU 实例族(T4、A10G 和 L4),AssemblyAI 可以利用相互独立的容量池。当某个实例族面临容量压力时,其他实例族仍有可用容量,从而显著降低 Spot 实例中断的可能性。
基于 Amazon SQS 的队列重试架构能够妥善处理 Spot 实例中断,同时履行 SLA 承诺。
当 Spot 实例收到 2 分钟预警时,Spot 中断处理程序 Lambda 函数会将正在处理的任务放回 SQS 队列。其他运行正常的 ECS 任务可以立即接手这些任务,确保转录顺利完成,并尽量减少对客户的影响。
在美国西部俄勒冈区域和欧洲伦敦区域部署服务,有助于满足受监管行业的数据驻留合规要求。
每个 AWS 区域都运行一套独立的推理架构,拥有各自的 SQS 队列、ECS 集群和 GPU 资源池。这确保音频数据不会离开指定的地理边界,满足医疗、金融和法律领域的合规要求。
ECS 容量提供商结合 Spot 和按需实例,在节省成本与保障可靠性之间取得平衡。
按需容量提供商负责提供基础容量,Spot 容量提供商则覆盖多个 GPU 实例族。Amazon ECS 托管式扩缩会根据待处理的推理任务自动调整实例数量,从而优化成本和可用性。
💬 Key Quotes
通过在生产环境中运行配备 GPU 的 Amazon EC2 Spot 实例,AssemblyAI 相较于按需定价,在推理计算成本上节省了 70%。
在这样的规模下,AssemblyAI 发现,跨实例族和实例规格进行分散,是降低 Spot 实例中断率最有效的手段。
从第一天起就通过基于队列的重试和快速预热来设计容错能力,可以将 Spot 实例中断转化为日常事件,同时履行 SLA 承诺。
📊 Article Meta
AI Screening: 88
Source: AWS Artificial Intelligence
Author: Belair Albahagwi
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1416
Tags:
AI 与智能应用 , 机器学习 , AI 硬件与芯片 , AI Agent , Prompt缓存
整理得太全面了,省了我不少时间。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
这个比较实用,已转发给同事。
整理得太全面了,省了我不少时间。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
实话,说的不明不白
有没有更详细的教程,期待后续。
楼主辛苦了,内容很有参考价值。
有没有更详细的教程,期待后续。