为巴西柔术构建你自己的 LLM

📌 One-Sentence Summary
本文提供了一套完整的方案,通过结合语音纠错、上下文检索头、知识图谱构建、多模态视觉锚定、自定义交叉编码器重排序以及专用 SFT 数据集,来构建一个巴西柔术领域的专家级 AI 教练,实现高精度、低幻觉的回答。
📝 Summary
文章详细介绍了使用 7B 开放权重模型为巴西柔术创建领域专用 AI 教练的七步方法。首先,处理视频转录中的语音转写错误,并在嵌入前为每个文本块添加包含上下文信息的检索头。其次,构建一个知识图谱,映射技术同义词并强制执行互斥规则。第三,利用 CLIP 和视觉语言模型添加多模态视觉锚定,使无声演示可被搜索。第四,使用带时间戳的视频引用和 5 路列表损失训练自定义交叉编码器重排序器,实现 78% 的 Recall@1 和 0.8749 的 MRR@10。第五,合成一个包含自动化 lint 的三轨 SFT 数据集。第六,在单 GPU 上应用决策加权 QLoRA SFT 和 DPO。最后,部署在 vLLM 无服务器平台上,在运动学精度上达到 5.00/5.0,干扰项引用率为 0.0%。
💡 Main Points
语音纠错与上下文头
系统使用领域特定的替换词典修复常见的语音转文字误听(例如将「kimura」误听为「camera」),并在嵌入前为每个转录文本块添加结构化的上下文检索头,包含教练、课程标题、规则集、章节和规范标签。
领域知识图谱构建
一个显式的知识图谱编码了 153 个规范标签和 388 个同义词(例如「honey hole」、「saddle」、「4/11」都映射到「saddle」),实现了从宽泛到具体的标签剪枝以保持锐利的 IDF 权重,并通过兼容性评分惩罚来强制执行运动学互斥规则。
基于 CLIP 和 VLM 的多模态视觉锚定
无声的物理演示被提取为关键帧,使用对比 CLIP 评分进行过滤,并用 Qwen2.5-VL-7B 生成描述,创建可搜索的「[视觉演示]」文本块,捕捉未说出口的握持位置和肢体角度。
自定义交叉编码器重排序器训练
一个微调的 BAAI/bge-reranker-base 模型在来自带时间戳视频引用的 4000 个三元组上训练,实现了 Recall@1 提升 10%(78% 对 68%)和 MRR@10 为 0.8749,并导出为 ONNX 用于基于 CPU 的生产服务,延迟为 40ms。
三轨 SFT 数据集与生产部署
系统合成一个专门的 SFT 数据集,包含 RAFT 摘录、诊断门和知识图谱谱系,应用 2.5 倍决策加权 QLoRA SFT 与零额外显存 PEFT DPO,并部署在 vLLM 无服务器平台上,实现 5.00/5.0 的运动学精度和 0.0% 的干扰项引用率。
💬 Key Quotes
NCM 在质量上达到与强扩散基线相当或更好的水平,同时生成文本速度快 10–31 倍,训练 token 少 4–5 倍。
微调 3 个 epoch(lr=2e-5,单 GPU 上约 2.5 分钟)使 Recall@1 提升了 +10.0%,MRR@10 达到 0.8749。
我们将逐步介绍构建 [maxdemarzi/bjj-coach-7b-v3] 和 [bjj-reranker-v3-onnx] 所使用的完整配方,将我们的领域基准(BJJ-Bench-250)在运动学精度上提升到 5.00 / 5.0,干扰项引用率为 0.0%。
双编码器将用户的问题和视频块分别嵌入为两个 384 维向量并取点积。这使得它足够快,可以通过 HNSW 在 PostgreSQL 中扫描 265,000 个块,但它将整个 60 秒的视频转录压缩成一个向量。
通过将微调的交叉编码器导出为具有动态 batch_size 和序列轴的 ONNX 图,我们的轻量级 Python 嵌入服务通过 onnxruntime + Rust tokenizers 在 CPU 上运行,每次查询约 40ms。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: Hacker News - Newest: "LLM"
Author: maxdemarzi
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3537
Tags:
AI 与智能应用 , 知识图谱 , 多模态 AI , 模型训练与推理 , 提示工程
写得挺用心的,支持一下。
看标题就点进来了,内容果然没让人失望。
作者写得真不错,学到了不少。
赞同,实践出真知。
思路清晰,干货满满。
写得挺用心的,支持一下。
实测过类似工具,作者说的基本属实。
实话,说的不明不白
看标题就点进来了,内容果然没让人失望。
整理得太全面了,省了我不少时间。
收藏了,以后慢慢研究。
讲解得很细致,新手也能看懂。