为巴西柔术构建你自己的 LLM

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 922026-11-03626 阅读💛 267 收藏
为巴西柔术构建你自己的 LLM

📌 One-Sentence Summary

本文提供了一套完整的方案,通过结合语音纠错、上下文检索头、知识图谱构建、多模态视觉锚定、自定义交叉编码器重排序以及专用 SFT 数据集,来构建一个巴西柔术领域的专家级 AI 教练,实现高精度、低幻觉的回答。

📝 Summary

文章详细介绍了使用 7B 开放权重模型为巴西柔术创建领域专用 AI 教练的七步方法。首先,处理视频转录中的语音转写错误,并在嵌入前为每个文本块添加包含上下文信息的检索头。其次,构建一个知识图谱,映射技术同义词并强制执行互斥规则。第三,利用 CLIP 和视觉语言模型添加多模态视觉锚定,使无声演示可被搜索。第四,使用带时间戳的视频引用和 5 路列表损失训练自定义交叉编码器重排序器,实现 78% 的 Recall@1 和 0.8749 的 MRR@10。第五,合成一个包含自动化 lint 的三轨 SFT 数据集。第六,在单 GPU 上应用决策加权 QLoRA SFT 和 DPO。最后,部署在 vLLM 无服务器平台上,在运动学精度上达到 5.00/5.0,干扰项引用率为 0.0%。

💡 Main Points

语音纠错与上下文头

系统使用领域特定的替换词典修复常见的语音转文字误听(例如将「kimura」误听为「camera」),并在嵌入前为每个转录文本块添加结构化的上下文检索头,包含教练、课程标题、规则集、章节和规范标签。

领域知识图谱构建

一个显式的知识图谱编码了 153 个规范标签和 388 个同义词(例如「honey hole」、「saddle」、「4/11」都映射到「saddle」),实现了从宽泛到具体的标签剪枝以保持锐利的 IDF 权重,并通过兼容性评分惩罚来强制执行运动学互斥规则。

基于 CLIP 和 VLM 的多模态视觉锚定

无声的物理演示被提取为关键帧,使用对比 CLIP 评分进行过滤,并用 Qwen2.5-VL-7B 生成描述,创建可搜索的「[视觉演示]」文本块,捕捉未说出口的握持位置和肢体角度。

自定义交叉编码器重排序器训练

一个微调的 BAAI/bge-reranker-base 模型在来自带时间戳视频引用的 4000 个三元组上训练,实现了 Recall@1 提升 10%(78% 对 68%)和 MRR@10 为 0.8749,并导出为 ONNX 用于基于 CPU 的生产服务,延迟为 40ms。

三轨 SFT 数据集与生产部署

系统合成一个专门的 SFT 数据集,包含 RAFT 摘录、诊断门和知识图谱谱系,应用 2.5 倍决策加权 QLoRA SFT 与零额外显存 PEFT DPO,并部署在 vLLM 无服务器平台上,实现 5.00/5.0 的运动学精度和 0.0% 的干扰项引用率。

💬 Key Quotes

NCM 在质量上达到与强扩散基线相当或更好的水平,同时生成文本速度快 10–31 倍,训练 token 少 4–5 倍。

微调 3 个 epoch(lr=2e-5,单 GPU 上约 2.5 分钟)使 Recall@1 提升了 +10.0%,MRR@10 达到 0.8749。

我们将逐步介绍构建 [maxdemarzi/bjj-coach-7b-v3] 和 [bjj-reranker-v3-onnx] 所使用的完整配方,将我们的领域基准(BJJ-Bench-250)在运动学精度上提升到 5.00 / 5.0,干扰项引用率为 0.0%。

双编码器将用户的问题和视频块分别嵌入为两个 384 维向量并取点积。这使得它足够快,可以通过 HNSW 在 PostgreSQL 中扫描 265,000 个块,但它将整个 60 秒的视频转录压缩成一个向量。

通过将微调的交叉编码器导出为具有动态 batch_size 和序列轴的 ONNX 图,我们的轻量级 Python 嵌入服务通过 onnxruntime + Rust tokenizers 在 CPU 上运行,每次查询约 40ms。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: Hacker News - Newest: "LLM"

Author: maxdemarzi

Category: 人工智能

Language: 英文

Read Time: 15 min

Word Count: 3537

Tags:

AI 与智能应用 , 知识图谱 , 多模态 AI , 模型训练与推理 , 提示工程

#AI 与智能应用# 知识图谱# 多模态 AI# 模型训练与推理# 提示工程

文章评论(12)

白向阳12 天前

写得挺用心的,支持一下。

回复
南山客12 天前

看标题就点进来了,内容果然没让人失望。

回复
蓝归舟12 天前

作者写得真不错,学到了不少。

回复
风倚栏12 天前

赞同,实践出真知。

回复
星寻梦12 天前

思路清晰,干货满满。

回复
墨沐雨12 天前

写得挺用心的,支持一下。

回复
蓝归舟12 天前

实测过类似工具,作者说的基本属实。

回复
云逐月12 天前

实话,说的不明不白

回复
北岛渔夫12 天前

看标题就点进来了,内容果然没让人失望。

回复
蓝问津12 天前

整理得太全面了,省了我不少时间。

回复
蓝归舟12 天前

收藏了,以后慢慢研究。

回复
竹听风12 天前

讲解得很细致,新手也能看懂。

回复