GitHub - sturnus-dev/sturnus:基于延迟的负载均衡,横跨 OpenAI、Azure OpenAI、Vertex AI 和 Anthropic。一个单静态二进制文件中的 OpenAI 兼容 sidecar。

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 922026-10-27636 阅读💛 255 收藏
GitHub - sturnus-dev/sturnus:基于延迟的负载均衡,横跨 OpenAI、Azure OpenAI、Vertex AI 和 Anthropic。一个单静态二进制文件中的 OpenAI 兼容 sidecar。

📌 One-Sentence Summary

sturnus 是一个轻量级、无状态的 sidecar 代理,在多个 LLM 提供商(OpenAI、Azure OpenAI、Vertex AI、Anthropic)之间执行基于延迟的自动路由,同时对外暴露单一的 OpenAI 兼容 API 端点。

📝 Summary

sturnus 是一个高性能的单二进制代理,设计用于与你的应用并排部署,负责 LLM 请求的路由。它持续监控已配置提供商的延迟和可用性,动态将流量转移到最快、最可靠的选择。系统支持多轮对话的会话亲和性,并通过 Prometheus 指标和结构化日志提供强大的可观测性。

💡 Main Points

基于延迟的自动路由

sturnus 持续测量每个已配置提供商的响应时间(延迟),并自动将请求路由到最快的一个。这确保应用始终与响应最及时的服务交互,从而提升整体性能和用户体验。

会话亲和性

该代理支持会话级持久化,允许对话中的后续请求被路由到同一提供商。这对于在多轮交互中保持上下文至关重要,因为状态是特定于提供商的。

sturnus 充当透明的中间人,将请求体逐字节转发到上游服务。它仅修改「model」字段以选择合适的提供商,确保 API 交互的其余部分保持不变,并与现有 SDK 兼容。

💬 Key Quotes

跨 LLM 提供商的基于延迟的自动路由。单个静态二进制文件,零基础设施。

最快且健康的提供商获得大部分流量,而较慢或出错的提供商则保留一小部分且不断缩小的份额。

sturnus 是一个透明代理:它将上游错误原样呈现给客户端,而不是在黑盒中静默重试。

📊 Article Meta

AI Screening: 92

Source: Hacker News - Newest: "LLM"

Author: dannyboland

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1865

Tags:

AI 与智能应用 , 模型训练与推理 , 云原生 / DevOps , 测试与质量 , AI 安全与对齐

#AI 与智能应用# 模型训练与推理# 云原生 / DevOps# 测试与质量# AI 安全与对齐

文章评论(12)

南山客19 天前

实测过类似工具,作者说的基本属实。

回复
星知秋19 天前

支持作者,持续关注中。

回复
星知秋19 天前

看标题就点进来了,内容果然没让人失望。

回复
雪影20 天前

实测过类似工具,作者说的基本属实。

回复
松听风19 天前

楼主辛苦了,内容很有参考价值。

回复
风倚栏19 天前

不错不错,已加入书签。

回复
晨沐雨19 天前

刚好最近在找这方面的资料,太及时了。

回复
暮临风19 天前

刚好最近在找这方面的资料,太及时了。

回复
山问津19 天前

有没有更详细的教程,期待后续。

回复
松听风19 天前

点赞,必须点赞

回复
雪影19 天前

这个比较实用,已转发给同事。

回复
墨沐雨19 天前

思路清晰,干货满满。

回复