GitHub - theoriclabs/leanllm: LiteLLM, in Lean.

📌 One-Sentence Summary
基于 LeanHttp 的 Lean 4 统一 LLM 客户端库,提供单一的类型化接口来访问多个模型和供应商。
📝 Summary
Leanllm 是一个 Lean 4 库,用于统一访问 Anthropic Claude、OpenAI、Google Gemini 和其他大型语言模型。它支持直接供应商 API、订阅式 OAuth 会话以及本地服务器,同时提供多轮对话、流式传输和工具调用等功能。
💡 Main Points
Leanllm 为交互多种 LLM 供应商和模型提供了单一且一致的 API,简化了在它们之间切换的过程。
该库支持将消息列表传递给 'completion' 函数,从而能够创建多轮对话型代理。
流式传输支持
Leanllm 包含 'askStream' 和 'completionStream' 函数,用于通过服务器发送事件进行实时的令牌流式传输。
该库支持声明 LLM 可以调用的工具(函数),并从响应中读取工具调用参数。
💬 Key Quotes
一个基于 LeanHttp 的 Lean 4 统一 LLM 客户端库。
为 Anthropic Claude、OpenAI、Google Gemini、DeepSeek、Kimi/Moonshot、Z.AI GLM、Qwen、MiniMax、xAI Grok 和 Mistral 模型提供了一个单一的类型化接口。
支持直接供应商 API、订阅式 OAuth 会话、OpenRouter、AWS Bedrock、Azure OpenAI、Google Vertex AI 和本地 OpenAI 兼容服务器。
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "LLM"
Author: hargup
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 982
Tags:
AI 与智能应用 , MCP协议 , 大语言模型 (LLM) , 阿里通义 , OpenAI
暂无评论,快来抢沙发~