SKILL.md 的哪些内容模型已经知道|Nikolay Petrov

📌 One-Sentence Summary
Nikolay Petrov 用有无 Skill 的对照实验,找出哪些指令带来新知识,再用任务评测验证删改。
📝 Summary
Nikolay Petrov 用相同任务比较加载与未加载 Skill 的表现,同时观察用时和 token 用量。为了找出是哪条指令发挥了作用,他把内容拆成可问可判的小条目,对比模型在两组中的答案,并区分新增能力、已有知识、性能退化和两组都答不出来的情况。在一组比较里,Opus 对一般概念的掌握约为 70%,对精确细节只有 22%。这类结果适合用来确定修改方向,最终仍要靠任务级评测确认精简后的 Skill 能做成原来的事。
💡 Main Points
用任务比较 Skill 加载前后的表现
除了任务解决率,还观察耗时和 token。示例中,加载 Skill 后从解出 5 题中的 3 题提高到全部解出。
把指令拆成可检查的小条目
两组使用同样的问题,避免题目泄露答案,并可考虑请不同模型家族的模型判分。
区分概念理解与精确细节
模型可能知道大概怎么做,具体的键名、参数值和操作步骤仍然有价值。
修改后重跑任务评测
看似多余的条目可以先尝试删掉,再验证删减是否保留了 Skill 的实际效果。
💬 Key Quotes
这个 Skill 在这一点上没有产生影响,因为模型原先就掌握了这项知识。
最后,我们还是得运行评测来验证。
📊 Article Meta
AI Screening: 91
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 软件编程
Language: 英文
Read Time: 8 min
Word Count: 1778
Tags:
编程与工程 , 上下文工程 , 自主编码 , Agent Skills , 视频
Play Full Video
实话,说的不明不白
不错不错,已加入书签。
内容翔实,正好需要,先收藏再看。
思路清晰,干货满满。
赞同,实践出真知。
支持作者,持续关注中。
讲解得很细致,新手也能看懂。
这篇文章分析得很透彻,收藏了!
内容翔实,正好需要,先收藏再看。
这个观点很中肯,深有同感。
看完了,收获满满,期待更多更新。
有没有更详细的教程,期待后续。