Together AI 发布 Together Compiler:智能体让推理速度最高提升 2.6x

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-05238 阅读💛 131 收藏
Together AI 发布 Together Compiler:智能体让推理速度最高提升 2.6x

📌 One-Sentence Summary

Together AI 发布了 Together Compiler,这是一个由智能体驱动的系统,可持续重新优化推理,在 24 小时内实现比已发布的最佳 InferenceX 配置高出 2.6x 的 TPS。

📝 Summary

Together Compiler 是一个持续编译循环,利用编程智能体重写模型的前向传播,以优化推理性能。系统接收服务器启动命令、流量配置和硬件配置,随后由智能体提出更快的前向传播方案,并通过常驻引擎逐一测量。该系统在多种硬件上运行多个模型,包括 Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flash 和 Llama 1B;硬件涵盖 NVIDIA B200、B300、GB300、H100、AMD MI355X 和 AWS Trainium2。测试显示,系统在 24 小时内实现了比已发布的最佳 InferenceX 配置高出 2.6x 的 TPS。与重启引擎的基线方案相比,支持热重载的常驻引擎将智能体实验吞吐量提高了 252x。

💡 Main Points

持续编译循环

Together Compiler 利用编程智能体,随着生产流量变化持续重新优化推理,解决引擎经过一次调优后会随时间逐渐过时的问题。

支持热重载的常驻引擎

系统只需启动一次引擎,智能体便可通过 RPC 提交候选前向传播方案,并替换函数指针、重新捕获 CUDA 图。与重启引擎的基线方案相比,这种方式将实验吞吐量提高了 252x。

双层测量系统

快速层运行 12 层,用于快速筛选;慢速层运行 60 层,用于在真实分布上确认性能提升。与单一慢速层相比,该系统可测试的候选方案多出 8.1x。

用于并行布局的成本模型

成本模型结合规格表数据、微基准测试和实测前向传播,对张量并行、专家并行、数据并行和上下文并行布局进行排序,从而找到最优配置。

朴素智能体胜过专家策略

为智能体提供引擎原始源代码并要求其优化速度,效果胜过由专家整理的知识库:经过 10 次试验后,前者实现了 6.2x 的加速,后者为 4.9x。

💬 Key Quotes

Together Compiler 是 Together AI 推出的一种持续编译循环,利用编程智能体重写模型的前向传播。

每种配置都能在 24 小时内实现比已发布的最佳 InferenceX 配置高出 2.6x 的 TPS。

支持热重载的常驻引擎,相比重启引擎的基线方案,可将智能体实验吞吐量提高 252x。

只需告诉朴素智能体让前向传播「尽可能快」,它们就能胜过专家策略。

在随机数据上调优的内核也可能造成误导。随机输入激活的 MoE 专家比真实流量多 13 到 38%。

📊 Article Meta

AI Screening: 88

Source: MarkTechPost

Author: Asif Razzaq

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1081

Tags:

AI 与智能应用 , 性能优化 , 模型训练与推理 , 开源项目 , AI Agent

#AI 与智能应用# 性能优化# 模型训练与推理# 开源项目# AI Agent

文章评论(12)

山问津10 天前

点赞,必须点赞

回复
林拾贝10 天前

整理得太全面了,省了我不少时间。

回复
陈皮话梅糖10 天前

讲解得很细致,新手也能看懂。

回复
青柠微凉10 天前

思路清晰,干货满满。

回复
曹浩10 天前

路过

回复
星寻梦10 天前

赞同,实践出真知。

回复
石佳琪10 天前

作者写得真不错,学到了不少。

回复
杨丽华10 天前

实话,说的不明不白

回复
北岛渔夫10 天前

很有价值的分享,感谢整理。

回复
墨沐雨10 天前

作者写得真不错,学到了不少。

回复
竹听风10 天前

看标题就点进来了,内容果然没让人失望。

回复
吴超10 天前

不错不错,已加入书签。

回复