GitHub - ffseika0304/shanhai-gateway:ShanHaiGateway(shg)——高韧性的多上游 LLM API 网关 / 山海关:万里长城第一关

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-12836 阅读💛 97 收藏
GitHub - ffseika0304/shanhai-gateway:ShanHaiGateway(shg)——高韧性的多上游 LLM API 网关 / 山海关:万里长城第一关

📌 One-Sentence Summary

ShanHaiGateway 是一款兼容 OpenAI 的 LLM API 网关,通过 SWRR 加权路由、会话亲和性和配额感知型后端管理,在每月处理 200 billion tokens 的同时将成本降低 99%。

📝 Summary

ShanHaiGateway(shg)是一款高韧性的多上游 LLM API 网关,可将多个模型提供商整合到一个兼容 OpenAI 的端点。它采用 SWRR 加权轮询路由,并结合配额索引冷却、任务级会话亲和性和影子保留观测机制。该系统解决了生产环境中的关键问题,包括上游故障、前缀缓存未命中率、模型弃用检测以及密钥泛滥。在每月处理 200 billion tokens 的生产测试中,其成本为 ¥170,而按目录价计算为 ¥26,600,降幅达 99%。核心能力包括通过会话亲和性将缓存命中率从 27% 提升至 51-69%、探测配额窗口并自动移除后端,以及混用免费额度池和积分池与付费渠道,且不影响主要业务。其架构在 api、service 和 core 层之间划分职责,并为路由、身份验证和特殊情况处理提供可插拔组件。

💡 Main Points

会话亲和性显著提升前缀缓存命中率

将具有相同 X-Job-Id 或 X-Session-Key 的请求固定路由到同一后端后,生产环境中的缓存命中率从 27% 提升至 51-69%;相比之下,随机轮询的命中率为 51-56%,相当于从池中提取的概率。

基于配额的后端管理与自动移除

系统每 180 秒探测各后端的 5h/7d/30d 配额窗口,并在配额耗尽时自动移除后端,待配额低于阈值后再将其恢复,从而无需更改配置即可无缝轮换订阅。

通过智能路由与免费资源池混用,将成本降低 99%

在每月处理 200 billion tokens 的生产环境中,系统通过组合使用缓存读取、多账户积分额度,并将小请求路由至按 token 计费的资源池、大请求路由至按请求计费的资源池,将成本从 ¥26,600 降至 ¥170。

根据错误分类进行冷却,并隔离故障回退

对于 403/429 错误,系统采用指数退避(5m→10m→...→4h);而容量已满时,请求会排队 60s,而不是直接返回 503。客户端断开连接会被视为网络观测结果,不会触发冷却,从而避免级联故障。

特殊情况处理层应对提供商特有异常

提供商特有的问题,例如自定义错误格式、usage 键和端点配置,都由隔离的 quirk 包处理,使核心模块无需条件分支,同时确保不同提供商的行为保持一致。

💬 Key Quotes

ShanHaiGateway(shg)——高韧性的多上游 LLM API 网关 / 山海关:万里长城第一关

在每月处理 200 billion tokens 的生产测试中,成本为 ¥170,而按目录价计算为 ¥26,600,降幅达 99%。

将具有相同 X-Job-Id 或 X-Session-Key 的请求固定路由到同一后端后,生产环境中的缓存命中率从 27% 提升至 51-69%。

系统每 180 秒探测各后端的 5h/7d/30d 配额窗口,并在配额耗尽时自动移除后端。

客户端断开连接会被视为网络观测结果,不会触发冷却,从而避免级联故障。

📊 Article Meta

AI Screening: 88

Source: Hacker News - Newest: "LLM"

Author: ffseika0304

Category: 人工智能

Language: 英文

Read Time: 40 min

Word Count: 9902

Tags:

AI 与智能应用 , AI 工程 , 开放权重模型 , 模型训练与推理 , LLM 推理优化

#AI 与智能应用# AI 工程# 开放权重模型# 模型训练与推理# LLM 推理优化

文章评论(12)

雪知秋3 天前

看标题就点进来了,内容果然没让人失望。

回复
星知秋3 天前

实测过类似工具,作者说的基本属实。

回复
一个橘子3 天前

讲解得很细致,新手也能看懂。

回复
蓝归舟3 天前

写得挺用心的,支持一下。

回复
武磊3 天前

刚好最近在找这方面的资料,太及时了。

回复
晨沐雨3 天前

作者写得真不错,学到了不少。

回复
林拾贝3 天前

路过

回复
星寻梦3 天前

收藏了,以后慢慢研究。

回复
空向阳3 天前

讲解得很细致,新手也能看懂。

回复
崔欣怡3 天前

内容翔实,正好需要,先收藏再看。

回复
南山客3 天前

路过

回复
蓝光3 天前

思路清晰,干货满满。

回复