Baseten 发布 joey-1:一款每百万 Token 仅 0.01 美元的 2B 决策模型

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-30575 阅读💛 62 收藏
Baseten 发布 joey-1:一款每百万 Token 仅 0.01 美元的 2B 决策模型

📌 One-Sentence Summary

Baseten 推出 joey-1,一款专为高并发路由与分类设计的 2B 参数模型,返回校准后的标签与概率,而非生成文本。

📝 Summary

Baseten 推出 joey-1,一款基于 Qwen3.5-2B 的 2B 参数决策模型。与生成式 LLM 不同,它针对路由、分类和护栏检查等离散任务进行了优化,提供标签与校准概率。其定价极具竞争力,每百万输入 Token 仅 0.01 美元,并具备低延迟(P50 为 20ms)。在 Jev Decision Index 上,该模型在 4B 参数以下类别中排名第一,但在通用知识方面落后于 elephant-1 等更大的同系列模型。

💡 Main Points

joey-1 是一款专用决策模型,而非生成式模型

它为分类和路由等任务返回标签与校准概率,使其在高并发逻辑判断场景中更高效。

极致的成本效益与速度

每百万 Token 仅 0.01 美元,处理 2000 Token 的 P50 延迟为 20ms,比更大的通用模型显著更便宜、更快速。

架构与训练细节

该模型基于 Qwen3.5-2B 进行后训练,配备冻结的视觉编码器,利用全注意力层处理文本和图像输入。

同尺寸级别的基准测试表现

它在 Jev Decision Index(0.4)上得分 63.30,总排名第 37,是 4B 参数以下的最佳模型。

💬 Key Quotes

joey-1 决策模型返回的是标签和校准概率,而非生成文本。

它面向高并发路由、分类和护栏检查。

不确定的答案可以升级交由 elephant-1、mammoth-1 或人工处理。

📊 Article Meta

AI Screening: 88

Source: MarkTechPost

Author: Asif Razzaq

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1072

Tags:

AI 与智能应用 , 模型路由 , 机器学习 , 计算机视觉 , LLM 推理优化

#AI 与智能应用# 模型路由# 机器学习# 计算机视觉# LLM 推理优化

文章评论(12)

星知秋16 天前

收藏了,以后慢慢研究。

回复
杨丽华17 天前

看标题就点进来了,内容果然没让人失望。

回复
星寻梦17 天前

内容翔实,正好需要,先收藏再看。

回复
蒋力16 天前

整理得太全面了,省了我不少时间。

回复
吴超16 天前

整理得太全面了,省了我不少时间。

回复
星知秋16 天前

看完了,收获满满,期待更多更新。

回复
林拾贝16 天前

点赞,必须点赞

回复
蓝归舟16 天前

路过

回复
青柠微凉16 天前

写得挺用心的,支持一下。

回复
风拾光16 天前

思路清晰,干货满满。

回复
雪知秋16 天前

作者写得真不错,学到了不少。

回复
杨丽华16 天前

作者写得真不错,学到了不少。

回复