GitHub - theoriclabs/leanllm: LiteLLM, in Lean.

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-141494 阅读💛 239 收藏
GitHub - theoriclabs/leanllm: LiteLLM, in Lean.

📌 One-Sentence Summary

基于 LeanHttp 的 Lean 4 统一 LLM 客户端库,提供单一的类型化接口来访问多个模型和供应商。

📝 Summary

Leanllm 是一个 Lean 4 库,用于统一访问 Anthropic Claude、OpenAI、Google Gemini 和其他大型语言模型。它支持直接供应商 API、订阅式 OAuth 会话以及本地服务器,同时提供多轮对话、流式传输和工具调用等功能。

💡 Main Points

Leanllm 为交互多种 LLM 供应商和模型提供了单一且一致的 API,简化了在它们之间切换的过程。

该库支持将消息列表传递给 'completion' 函数,从而能够创建多轮对话型代理。

流式传输支持

Leanllm 包含 'askStream' 和 'completionStream' 函数,用于通过服务器发送事件进行实时的令牌流式传输。

该库支持声明 LLM 可以调用的工具(函数),并从响应中读取工具调用参数。

💬 Key Quotes

一个基于 LeanHttp 的 Lean 4 统一 LLM 客户端库。

为 Anthropic Claude、OpenAI、Google Gemini、DeepSeek、Kimi/Moonshot、Z.AI GLM、Qwen、MiniMax、xAI Grok 和 Mistral 模型提供了一个单一的类型化接口。

支持直接供应商 API、订阅式 OAuth 会话、OpenRouter、AWS Bedrock、Azure OpenAI、Google Vertex AI 和本地 OpenAI 兼容服务器。

📊 Article Meta

AI Screening: 85

Source: Hacker News - Newest: "LLM"

Author: hargup

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 982

Tags:

AI 与智能应用 , MCP协议 , 大语言模型 (LLM) , 阿里通义 , OpenAI

#AI 与智能应用# MCP协议# 大语言模型 (LLM)# 阿里通义# OpenAI

文章评论(0)

暂无评论,快来抢沙发~