5 min read

Google最新论文:目前只有2.5%的skills可用,大多数是垃圾,以及如何优化skills?

Source: http://x.com/i/article/2029856534637989889

由 Google 的开发者和研究团队今年 2 月份发布的论文《SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks》对目前 skills 进行了综述性的研究。

其中有几个看似反常又很有意思的点:

  1. 目前有 4 万多个 skills,只有 1k 个左右是有用的
  2. Agent/LLM 写的 skills 都是垃圾,高级的 skills 都是手写的
  3. 60%-80% 的 skills 都集中在软件工程领域
Image

不同任务skills的数量

一、三大核心发现 1. "4 万个 Skills 中只有 1k 个有用"

论文调研了目前社区(如开源项目、Agent 平台)中存在的庞大 Skills 生态。

研究指出,虽然各种仓库里托管了成千上万个(约 40,000+)由用户贡献的 Skills,但经过测试发现,其中绝大多数是冗余、低质或由于环境失效而不可用的。

论文最终通过严格筛选和人工校验,精选出了约 1,000 个左右的高质量、确定性强(Curated Skills)作为 Benchmark 的核心。

2. "Agent 写的 Skills 是垃圾,高级 Skills 必须手写"

这是该论文最扎心的结论之一。

研究对比了三种情况:

  • No Skills(无技能补充)
  • Curated Skills(人工编写/筛选的优质技能)
  • Self-generated Skills(LLM 自动生成的技能)

实验结果显示,人工精心编写的技能能将任务成功率提高约 16.2%(在医疗等复杂领域甚至能提高 51.9%)。

而 LLM 自动生成的技能几乎没有任何正面贡献,有时甚至会因为引入错误的 API 调用或逻辑而产生负面影响。

论文指出,目前的模型还没有能力"自我编写"出它们真正受益的高质量程序化知识。

(模型在垂直领域的能力还欠缺,需要专业的知识技能来弥补) 3. "60%-80% 的 Skills 集中在软件工程"

论文在分析现有的 Skills 分布时提到,目前的 Agent 技能生态极度不平衡。

大约 60% 到 80% 的现有技能都集中在软件工程(Software Engineering)和数据分析(Data Analysis)领域,而其他垂直行业(如法律、医疗、制造业)的高质量技能非常匮乏。

二、我的思考

其实倒也符合我们的常识和认知印象了,AI 直接创建的 skills 都是垃圾。

因为真正有价值的 SOP,AI 是无法直接创建的,这是个人经验的积累。

其次呢,真正有价值的 skills,大家大概也不想完全开源出来的。

这包括创作的风格、思路等等。

以及,为何主要集中在软件工程领域?

似乎也不难理解,程序员真是一群天生爱开源的人,再加上 skills 本身从 Claude Code、从技术圈诞生的,目前量最多也好理解了。

我想一个启发是,教会非技术圈,其它垂直领域的人(如法律、医疗、制造业)沉淀形成自己的 skills,将是一件很有价值的事情。

三、五个优化方向

最后论文通过实验发现了多个优化方向: 优化一:控制 Skills 数量

Image

结论:Skills 不是越多越好,过多的内容会造成认知负担或互相冲突的建议。

优化二:控制 Skills 复杂度

Image

结论:Focused 的、分步骤的指导 + 至少一个工作示例 > 冗长的 exhaustive 文档。智能体很难从长篇大论中提取有用信息。

优化三:匹配领域需求 不同领域获益差异巨大:

Image

结论:在模型预训练中缺乏专业知识的领域(如医疗数据协调、制造工作流),Skills 帮助最大;而模型本来就很强的领域,Skills 反而可能引入噪音。

优化四:利用 Skills 弥补模型规模

论文发现:

  • Claude Haiku(有 Skills):27.7%
  • Claude Opus(无 Skills):22.0%

结论:小模型 + 好 Skills 可以超越大模型。这对于成本敏感的场景很有价值。

启示:用好 skills,完全可以实现小模型的弯道超车。

优化五:针对 Harness 做适配

论文发现不同智能体框架对 Skills 的利用能力不同:

Image

结论:选择合适的 agent harness 很重要,有些框架更善于检索和使用 Skills。

四、实践建议

在论文的 Discussion 部分,作者总结了关于 Skills 编写的建议:

1.

简洁优先:简洁、分步骤的指导 + 至少一个工作示例,往往比冗长的 exhaustive 文档更有效

2.

模块化:模块化的 Skills 在多部分任务上组合效果更好

3.

适配 Harness:Skills 应该明确匹配 harness 的约束(如 JSON-only 协议的重复格式提醒)

4.

避免过度:确保 Skills 提供的是"如何做"的程序性指导,而不是"答案是什么"的声明性内容

论文原文:

https://arxiv.org/html/2602.12670v1