GitHub - Miyamoto-Renya/LaplacesScissors:拉普拉斯剪刀:面向开源 LLM 的受保护读出旋转。使用 CUDA/HIP 上的 Rust 和 Triton 诊断输出方向弱点、修复答案、保留成功生成结果,并分析缩放偏差。

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-09514 阅读💛 149 收藏
GitHub - Miyamoto-Renya/LaplacesScissors:拉普拉斯剪刀:面向开源 LLM 的受保护读出旋转。使用 CUDA/HIP 上的 Rust 和 Triton 诊断输出方向弱点、修复答案、保留成功生成结果,并分析缩放偏差。

📌 One-Sentence Summary

拉普拉斯剪刀是一个基于 Rust 和 Triton 的框架,可诊断开源 LLM 输出方向的弱点,并通过受保护的读出旋转修复错误答案,同时保留正确生成结果。

📝 Summary

拉普拉斯剪刀是一个通过受保护的读出旋转分析并修复 LLM 输出的新型框架。系统通过注入数值向量并测量响应分布之间的 Jeffreys 散度,诊断模型输出中区分能力较弱的方向。随后,它计算读出旋转,在修复生成失败问题的同时保留成功生成结果。该框架支持模型检查、数值探测、答案诊断、生成、导出和缩放分析。模型加载、分词和执行由 Rust 负责,Python 与 Triton 则负责编译。系统支持 CUDA 和 HIP 后端,兼容多种模型格式,包括 Hugging Face 模型,并提供详细的归因分析,展示哪些权重促成了修复。关键命令包括 fetch、inspect、probe、diagnose、generate、export 和 scale,可用于全面分析不同规模下的模型行为。

💡 Main Points

受保护的读出旋转可修复生成失败,同时保留正确生成结果

该框架通过数值探测识别输出方向中的弱点,并计算旋转以增强正确答案与错误答案之间的区分度,从而针对特定失败模式进行修复,而不损害成功生成结果。

数值探测通过 Jeffreys 散度识别区分能力较弱的方向

系统在解码器输入处注入数值向量,并测量输出分布之间的对称 KL 散度,以找出模型区分能力较弱的方向,并将其作为修复目标。

提供全面的模型分析与修复工具链

该框架提供模型获取、检查、探测、诊断、生成、导出和缩放分析等命令,可支持从发现弱点到导出修复后模型的端到端分析。

支持多种后端和模型格式

该框架支持 CUDA 和 HIP 后端,采用 Rust 工具链并通过 Python/Triton 桥接,还能处理多种模型格式,包括 Hugging Face 模型、safetensors 和本地模型目录。

提供详细的归因分析

该框架通过逐层有符号贡献和注意力头总贡献追踪权重的影响,帮助精确了解哪些参数会影响模型行为,以及修复如何改变模型。

💬 Key Quotes

旋转 LLM 的输出矩阵,让受保护的答案保持不变,同时修复失败的答案。

在数十万个领域专属样本上微调 Gemma4-E2B,可将其 F1 从 0.563 提升至 0.902,达到最佳专有模型的水平,同时中位延迟保持在 35ms。

我们在真实的生产分类任务中,将微调后的 E2B 模型与前沿 API 进行了基准测试。它在不到 100ms 的时间内达到了同等质量,成本约为其百分之一。

📊 Article Meta

AI Screening: 88

Source: Hacker News - Newest: "LLM"

Author: 032renya

Category: 人工智能

Language: 英文

Read Time: 16 min

Word Count: 3845

Tags:

AI 与智能应用 , AI 工程 , 模型训练与推理 , 上下文工程 , 开放权重模型

#AI 与智能应用# AI 工程# 模型训练与推理# 上下文工程# 开放权重模型

文章评论(12)

雪影6 天前

这个观点很中肯,深有同感。

回复
一个橘子6 天前

点赞,必须点赞

回复
杨丽华6 天前

讲解得很细致,新手也能看懂。

回复
杨丽华6 天前

实测过类似工具,作者说的基本属实。

回复
空向阳6 天前

这篇文章分析得很透彻,收藏了!

回复
南山客6 天前

刚好最近在找这方面的资料,太及时了。

回复
武磊6 天前

作者写得真不错,学到了不少。

回复
松听风6 天前

收藏了,以后慢慢研究。

回复
星观澜6 天前

收藏了,以后慢慢研究。

回复
南山客6 天前

看标题就点进来了,内容果然没让人失望。

回复
风拾光6 天前

有没有更详细的教程,期待后续。

回复
龙文博6 天前

楼主辛苦了,内容很有参考价值。

回复