GitHub - ffseika0304/shanhai-gateway:ShanHaiGateway(shg)——高韧性的多上游 LLM API 网关 / 山海关:万里长城第一关

📌 One-Sentence Summary
ShanHaiGateway 是一款兼容 OpenAI 的 LLM API 网关,通过 SWRR 加权路由、会话亲和性和配额感知型后端管理,在每月处理 200 billion tokens 的同时将成本降低 99%。
📝 Summary
ShanHaiGateway(shg)是一款高韧性的多上游 LLM API 网关,可将多个模型提供商整合到一个兼容 OpenAI 的端点。它采用 SWRR 加权轮询路由,并结合配额索引冷却、任务级会话亲和性和影子保留观测机制。该系统解决了生产环境中的关键问题,包括上游故障、前缀缓存未命中率、模型弃用检测以及密钥泛滥。在每月处理 200 billion tokens 的生产测试中,其成本为 ¥170,而按目录价计算为 ¥26,600,降幅达 99%。核心能力包括通过会话亲和性将缓存命中率从 27% 提升至 51-69%、探测配额窗口并自动移除后端,以及混用免费额度池和积分池与付费渠道,且不影响主要业务。其架构在 api、service 和 core 层之间划分职责,并为路由、身份验证和特殊情况处理提供可插拔组件。
💡 Main Points
会话亲和性显著提升前缀缓存命中率
将具有相同 X-Job-Id 或 X-Session-Key 的请求固定路由到同一后端后,生产环境中的缓存命中率从 27% 提升至 51-69%;相比之下,随机轮询的命中率为 51-56%,相当于从池中提取的概率。
基于配额的后端管理与自动移除
系统每 180 秒探测各后端的 5h/7d/30d 配额窗口,并在配额耗尽时自动移除后端,待配额低于阈值后再将其恢复,从而无需更改配置即可无缝轮换订阅。
通过智能路由与免费资源池混用,将成本降低 99%
在每月处理 200 billion tokens 的生产环境中,系统通过组合使用缓存读取、多账户积分额度,并将小请求路由至按 token 计费的资源池、大请求路由至按请求计费的资源池,将成本从 ¥26,600 降至 ¥170。
根据错误分类进行冷却,并隔离故障回退
对于 403/429 错误,系统采用指数退避(5m→10m→...→4h);而容量已满时,请求会排队 60s,而不是直接返回 503。客户端断开连接会被视为网络观测结果,不会触发冷却,从而避免级联故障。
特殊情况处理层应对提供商特有异常
提供商特有的问题,例如自定义错误格式、usage 键和端点配置,都由隔离的 quirk 包处理,使核心模块无需条件分支,同时确保不同提供商的行为保持一致。
💬 Key Quotes
ShanHaiGateway(shg)——高韧性的多上游 LLM API 网关 / 山海关:万里长城第一关
在每月处理 200 billion tokens 的生产测试中,成本为 ¥170,而按目录价计算为 ¥26,600,降幅达 99%。
将具有相同 X-Job-Id 或 X-Session-Key 的请求固定路由到同一后端后,生产环境中的缓存命中率从 27% 提升至 51-69%。
系统每 180 秒探测各后端的 5h/7d/30d 配额窗口,并在配额耗尽时自动移除后端。
客户端断开连接会被视为网络观测结果,不会触发冷却,从而避免级联故障。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: ffseika0304
Category: 人工智能
Language: 英文
Read Time: 40 min
Word Count: 9902
Tags:
AI 与智能应用 , AI 工程 , 开放权重模型 , 模型训练与推理 , LLM 推理优化
看标题就点进来了,内容果然没让人失望。
实测过类似工具,作者说的基本属实。
讲解得很细致,新手也能看懂。
写得挺用心的,支持一下。
刚好最近在找这方面的资料,太及时了。
作者写得真不错,学到了不少。
路过
收藏了,以后慢慢研究。
讲解得很细致,新手也能看懂。
内容翔实,正好需要,先收藏再看。
路过
思路清晰,干货满满。