GitHub - sturnus-dev/sturnus:基于延迟的负载均衡,横跨 OpenAI、Azure OpenAI、Vertex AI 和 Anthropic。一个单静态二进制文件中的 OpenAI 兼容 sidecar。

📌 One-Sentence Summary
sturnus 是一个轻量级、无状态的 sidecar 代理,在多个 LLM 提供商(OpenAI、Azure OpenAI、Vertex AI、Anthropic)之间执行基于延迟的自动路由,同时对外暴露单一的 OpenAI 兼容 API 端点。
📝 Summary
sturnus 是一个高性能的单二进制代理,设计用于与你的应用并排部署,负责 LLM 请求的路由。它持续监控已配置提供商的延迟和可用性,动态将流量转移到最快、最可靠的选择。系统支持多轮对话的会话亲和性,并通过 Prometheus 指标和结构化日志提供强大的可观测性。
💡 Main Points
基于延迟的自动路由
sturnus 持续测量每个已配置提供商的响应时间(延迟),并自动将请求路由到最快的一个。这确保应用始终与响应最及时的服务交互,从而提升整体性能和用户体验。
会话亲和性
该代理支持会话级持久化,允许对话中的后续请求被路由到同一提供商。这对于在多轮交互中保持上下文至关重要,因为状态是特定于提供商的。
sturnus 充当透明的中间人,将请求体逐字节转发到上游服务。它仅修改「model」字段以选择合适的提供商,确保 API 交互的其余部分保持不变,并与现有 SDK 兼容。
💬 Key Quotes
跨 LLM 提供商的基于延迟的自动路由。单个静态二进制文件,零基础设施。
最快且健康的提供商获得大部分流量,而较慢或出错的提供商则保留一小部分且不断缩小的份额。
sturnus 是一个透明代理:它将上游错误原样呈现给客户端,而不是在黑盒中静默重试。
📊 Article Meta
AI Screening: 92
Source: Hacker News - Newest: "LLM"
Author: dannyboland
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1865
Tags:
AI 与智能应用 , 模型训练与推理 , 云原生 / DevOps , 测试与质量 , AI 安全与对齐
实测过类似工具,作者说的基本属实。
支持作者,持续关注中。
看标题就点进来了,内容果然没让人失望。
实测过类似工具,作者说的基本属实。
楼主辛苦了,内容很有参考价值。
不错不错,已加入书签。
刚好最近在找这方面的资料,太及时了。
刚好最近在找这方面的资料,太及时了。
有没有更详细的教程,期待后续。
点赞,必须点赞
这个比较实用,已转发给同事。
思路清晰,干货满满。