GitHub - Miyamoto-Renya/LaplacesScissors:拉普拉斯剪刀:面向开源 LLM 的受保护读出旋转。使用 CUDA/HIP 上的 Rust 和 Triton 诊断输出方向弱点、修复答案、保留成功生成结果,并分析缩放偏差。

📌 One-Sentence Summary
拉普拉斯剪刀是一个基于 Rust 和 Triton 的框架,可诊断开源 LLM 输出方向的弱点,并通过受保护的读出旋转修复错误答案,同时保留正确生成结果。
📝 Summary
拉普拉斯剪刀是一个通过受保护的读出旋转分析并修复 LLM 输出的新型框架。系统通过注入数值向量并测量响应分布之间的 Jeffreys 散度,诊断模型输出中区分能力较弱的方向。随后,它计算读出旋转,在修复生成失败问题的同时保留成功生成结果。该框架支持模型检查、数值探测、答案诊断、生成、导出和缩放分析。模型加载、分词和执行由 Rust 负责,Python 与 Triton 则负责编译。系统支持 CUDA 和 HIP 后端,兼容多种模型格式,包括 Hugging Face 模型,并提供详细的归因分析,展示哪些权重促成了修复。关键命令包括 fetch、inspect、probe、diagnose、generate、export 和 scale,可用于全面分析不同规模下的模型行为。
💡 Main Points
受保护的读出旋转可修复生成失败,同时保留正确生成结果
该框架通过数值探测识别输出方向中的弱点,并计算旋转以增强正确答案与错误答案之间的区分度,从而针对特定失败模式进行修复,而不损害成功生成结果。
数值探测通过 Jeffreys 散度识别区分能力较弱的方向
系统在解码器输入处注入数值向量,并测量输出分布之间的对称 KL 散度,以找出模型区分能力较弱的方向,并将其作为修复目标。
提供全面的模型分析与修复工具链
该框架提供模型获取、检查、探测、诊断、生成、导出和缩放分析等命令,可支持从发现弱点到导出修复后模型的端到端分析。
支持多种后端和模型格式
该框架支持 CUDA 和 HIP 后端,采用 Rust 工具链并通过 Python/Triton 桥接,还能处理多种模型格式,包括 Hugging Face 模型、safetensors 和本地模型目录。
提供详细的归因分析
该框架通过逐层有符号贡献和注意力头总贡献追踪权重的影响,帮助精确了解哪些参数会影响模型行为,以及修复如何改变模型。
💬 Key Quotes
旋转 LLM 的输出矩阵,让受保护的答案保持不变,同时修复失败的答案。
在数十万个领域专属样本上微调 Gemma4-E2B,可将其 F1 从 0.563 提升至 0.902,达到最佳专有模型的水平,同时中位延迟保持在 35ms。
我们在真实的生产分类任务中,将微调后的 E2B 模型与前沿 API 进行了基准测试。它在不到 100ms 的时间内达到了同等质量,成本约为其百分之一。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: 032renya
Category: 人工智能
Language: 英文
Read Time: 16 min
Word Count: 3845
Tags:
AI 与智能应用 , AI 工程 , 模型训练与推理 , 上下文工程 , 开放权重模型
这个观点很中肯,深有同感。
点赞,必须点赞
讲解得很细致,新手也能看懂。
实测过类似工具,作者说的基本属实。
这篇文章分析得很透彻,收藏了!
刚好最近在找这方面的资料,太及时了。
作者写得真不错,学到了不少。
收藏了,以后慢慢研究。
收藏了,以后慢慢研究。
看标题就点进来了,内容果然没让人失望。
有没有更详细的教程,期待后续。
楼主辛苦了,内容很有参考价值。