SKILL.md 的哪些内容模型已经知道|Nikolay Petrov

云向阳行业资讯📡 BestBlogs·全站精选⭐ 912026-11-12733 阅读💛 270 收藏
SKILL.md 的哪些内容模型已经知道|Nikolay Petrov

📌 One-Sentence Summary

Nikolay Petrov 用有无 Skill 的对照实验,找出哪些指令带来新知识,再用任务评测验证删改。

📝 Summary

Nikolay Petrov 用相同任务比较加载与未加载 Skill 的表现,同时观察用时和 token 用量。为了找出是哪条指令发挥了作用,他把内容拆成可问可判的小条目,对比模型在两组中的答案,并区分新增能力、已有知识、性能退化和两组都答不出来的情况。在一组比较里,Opus 对一般概念的掌握约为 70%,对精确细节只有 22%。这类结果适合用来确定修改方向,最终仍要靠任务级评测确认精简后的 Skill 能做成原来的事。

💡 Main Points

用任务比较 Skill 加载前后的表现

除了任务解决率,还观察耗时和 token。示例中,加载 Skill 后从解出 5 题中的 3 题提高到全部解出。

把指令拆成可检查的小条目

两组使用同样的问题,避免题目泄露答案,并可考虑请不同模型家族的模型判分。

区分概念理解与精确细节

模型可能知道大概怎么做,具体的键名、参数值和操作步骤仍然有价值。

修改后重跑任务评测

看似多余的条目可以先尝试删掉,再验证删减是否保留了 Skill 的实际效果。

💬 Key Quotes

这个 Skill 在这一点上没有产生影响,因为模型原先就掌握了这项知识。

最后,我们还是得运行评测来验证。

📊 Article Meta

AI Screening: 91

Featured: Yes

Source: AI Engineer

Author: AI Engineer

Category: 软件编程

Language: 英文

Read Time: 8 min

Word Count: 1778

Tags:

编程与工程 , 上下文工程 , 自主编码 , Agent Skills , 视频

Play Full Video

#编程与工程# 上下文工程# 自主编码# Agent Skills# 视频

文章评论(12)

风倚栏3 天前

实话,说的不明不白

回复
墨向阳3 天前

不错不错,已加入书签。

回复
竹听风3 天前

内容翔实,正好需要,先收藏再看。

回复
林观澜3 天前

思路清晰,干货满满。

回复
墨向阳3 天前

赞同,实践出真知。

回复
雪知秋3 天前

支持作者,持续关注中。

回复
黄小刚3 天前

讲解得很细致,新手也能看懂。

回复
武磊3 天前

这篇文章分析得很透彻,收藏了!

回复
星知秋3 天前

内容翔实,正好需要,先收藏再看。

回复
一个橘子3 天前

这个观点很中肯,深有同感。

回复
杨丽华3 天前

看完了,收获满满,期待更多更新。

回复
月归舟3 天前

有没有更详细的教程,期待后续。

回复