SkillsBench: Benchmarking How Well Agent Skills Work Across Diverse Tasks——跨多样任务评估智能体技能效能的基准测试

1. 研究背景与问题

• 背景：大语言模型（LLM）智能体在处理复杂任务时，常缺乏特定领域的“程序性知识”（即“怎么做”的流程、规范）。

• 新兴方案：“智能体技能”（Agent Skills）——一种结构化的知识包（含指令、代码、示例等），可在不重新训练模型的情况下，增强智能体的能力。

• 核心问题：尽管技能生态发展迅速，但没有标准方法衡量其真实效果——什么情况下有用、什么内容最有效、为何有时反而有害？

• 现有基准的不足：现有基准只测“模型本身强不强”，不测“技能帮了多少”。

2. 研究目标与贡献

作者提出 SKILLS BENCH，首个以技能为核心评估对象的基准测试，主要贡献：

3. 核心实验设计

评估指标：通过率（Pass Rate）和标准化增益（Normalized Gain，衡量相对提升比例）。

4. 主要发现（四个关键结论）

5. 其他重要分析

• 框架差异：不同智能体框架（Claude Code vs. Gemini CLI vs. Codex CLI）对技能的利用效率不同，部分框架“看了技能但不用”。

• 失败模式：最主要的失败是“输出质量不达标”（占近 50%），而非完全做不出——说明模型理解任务，但精度不够。

• 成本-性能权衡：技能带来性能提升，但 token 消耗增加约 6-13%，不过 Gemini 3 Flash 凭借更低定价，仍具成本优势。

6. 局限性与未来方向

• 当前仅覆盖终端/容器化任务，不适用于 GUI 或多智能体场景。

• 技能带来的提升可能部分来自“更多上下文”，未来需更严格的长度匹配对照实验。

• 难以完全杜绝训练数据污染和随机性影响。

• 未来可研究自动技能合成、多技能组合互动、以及更低质量技能的现实表现。

技能确实能提升智能体表现，但效果高度依赖任务领域、技能设计和智能体框架；人类精心编写的“小而精”技能最有效，且能让小模型“以小博大”。

这里是自己的论文阅读记录，感兴趣的话可以参考一下，如果需要阅读原文的话可以看这里，如下所示：

摘要

智能体技能（Agent Skills）是结构化的程序性知识包，可在推理时增强大语言模型（LLM）智能体。尽管其应用迅速普及，但目前尚无标准方法来衡量它们是否真正有效。我们提出了 SKILLS BENCH，一个包含 86 个任务、横跨 11 个领域的基准测试，并配以精心策划的技能和确定性验证器。每个任务在三种条件下进行评估：无技能、有策划技能和自主生成技能。我们在 7,308 条执行轨迹上测试了 7 种智能体-模型配置。策划技能使平均通过率提高了 16.2 个百分点，但效果因领域而异（软件工程+4.5 个百分点至医疗保健+51.9 个百分点），且 84 个任务中有 16 个出现负面效果。自主生成技能平均无益，这表明模型无法可靠地编写出它们能从使用中获益的程序性知识。包含 2-3 个模块的重点技能优于全面的文档，且配备技能的小型模型可以媲美不使用技能的更大模型。

图 1. 智能体架构堆栈及 7 种智能体-模型配置在 84 个任务上的解决率。策划技能（米色）平均提升 +16.2 个百分点的性能；自主生成技能（琥珀色）提供可忽略或负面的益处。

1. 引言

大型语言模型（LLMs）已从文本生成器演变为能够在现实世界环境中执行复杂、多步骤任务的自主智能体（Brown 等人，2020；Chowdhery 等人，2023；Touvron 等人，2023； Ouyang 等人，2022；Yao 等人，2022）。这种演变在面向智能体的 CLI 工具中得到了体现：Anthropic 的 Claude Code (Anthropic, 2025b)、Google 的 Gemini CLI (Google, 2025) 和 OpenAI 的 Codex CLI (OpenAI, 2025) 使开发者能够在终端环境中将前沿模型用作智能体助手。然而，存在一个基本矛盾：基础模型提供了广泛的能力，但缺乏领域特定工作流所需的程序性知识，而微调成本高昂且会牺牲通用性。

智能体技能提供了一种新兴的解决方案。技能是一种结构化包，包含指令、代码模板、资源和验证逻辑，可在不修改模型的情况下在推理时增强智能体行为 (Anthropic, 2025a)。技能编码了程序性知识：标准操作流程、领域约定和指导智能体行为的任务特定启发式方法。这种模块化方法建立在用于时间抽象的选择框架 (Sutton 等人，1999) 和语言智能体的认知架构 (Sumers 等人，2023) 之上，镜像了成功的计算范式：基础模型提供基础能力（类似于 CPU），智能体框架（Agent Harnesses）编排上下文和工具（操作系统），技能将能力扩展到专业领域（应用程序）。

技能生态系统发展迅速，社区仓库现已托管数千个用户贡献的技能，涵盖软件工程、数据分析和企业工作流。然而，尽管技能数量激增，但尚无基准测试系统地评估技能如何以及何时提升智能体性能，哪些内容推动了性能提升，或哪些设计原则区分了有效和无效的技能。图 1 展示了这种分层架构，并预告了我们的主要结果：策划技能在所有 7 种模型-框架配置中一致地提高了解决率，而自主生成的技能提供的益处微乎其微。问题不在于添加任务相关上下文是否有帮助，而在于：与基线增强相比，技能有多大帮助？哪些技能组件（指令 vs. 代码 vs. 示例）贡献最大？技能在何种情况下会失效？

现有的智能体基准测试（Liu 等人，2023；Merrill 等人，2026；Jimenez 等人，2024；Zhou 等人，2024b；Xie 等人，2024；Koh 等人，2024；Trivedi 等人，2024；Yang 等人，2023；Chan 等人，2025；Zhuo 等人，2025）评估的是孤立环境下的原始模型能力，回答的是“该模型在任务 X 上表现如何？”而非“技能 Y 在任务 X 上能提升多少性能？”这一差距具有实际后果：实践者无法就技能采纳做出明智决策，研究人员也缺乏技能设计原则的经验基础。

为解决此问题，我们引入了 SKILLS BENCH，这是首个将技能视为一等评估工件的基准测试，具有两项核心贡献：

2. SKILLS BENCH

我们提出了 SKILLS BENCH，一个用于评估基于 LLM 的智能体中技能增强效果的基准测试。基于 Harbor 框架 (Merrill 等人，2026；Harbor Framework Team，2026) 构建，每个任务采用容器化结构，其环境包含智能体技能和相关数据、一个确定性验证测试以及一个标准解决方案。遵循智能体基准测试的最佳实践 (Zhu 等人，2025；Anthropic，2026)，我们确保严格的隔离和确定性验证。与评估原始模型和智能体框架能力的 Terminal-Bench 不同，SKILLS BENCH 引入了一个关键的方法论差异：我们在原始（无技能）和技能增强条件下评估每个任务，从而能够直接衡量技能的有效性。

2.1. 技能规范

一个技能（Skill）是满足以下四个条件的工件：

• 程序性内容：包含“如何做”的指导（流程、工作流、SOP），而非事实检索。

• 任务类适用性：适用于一类问题，而非单个实例。

• 结构化组件：包含一个 SKILL.md 文件以及可选资源（脚本、模板、示例）。

• 可移植性：技能完全基于文件系统，因此易于编辑、版本控制、共享，并可在不同兼容技能的智能体框架中使用。

此定义明确排除：系统提示（缺乏结构和资源）、少样本示例 (Brown 等人，2020)（声明式，非程序性）、RAG 检索 (Lewis 等人，2020)（事实性，非程序性）和工具文档 (Schick 等人，2023；Qin 等人，2024)（描述能力，非程序性）。我们承认这个边界并非绝对（例如，StackOverflow 的答案可能混合了事实和程序性内容），但我们的标准为基准测试的构建提供了操作上的清晰性。我们在表 1 中强调了技能与其他增强范式的区别特征。

在 SKILLS BENCH 中，每个技能都是一个位于 environment/skills/ 中的模块化包，包含：

• SKILL.md：自然语言指令，指定如何处理一类任务，即工作流、标准操作流程或领域约定。

• 资源：智能体可以调用或查阅的可执行脚本、代码模板、参考文档或工作示例。

2.2. 任务规范

SKILLS BENCH 中的每个任务都是一个自包含模块，包含四个组件：

• 指令。一个人类可读的任务描述，指定目标、输入格式和预期输出。我们编写的指令使得即使没有配套技能，知识渊博的人类也能解决，尽管技能可能会大幅减少解决时间。

• 环境。一个 Docker 容器，包含任务特定的数据文件和一个包含模块化技能包的 skills/ 子目录。该容器通过隔离的依赖关系和干净的文件系统状态确保可重复性。

• 解决方案。一个参考实现，证明任务的可解性。该标准解决方案验证每个任务至少有一条正确的解决路径。

• 验证器。带有程序化断言的确定性测试脚本，在适当情况下包含数值容差。这确保了无需依赖“LLM 作为评判者”的可重复通过/失败判定，遵循基于执行的评估最佳实践 (Wang 等人，2023b；Brown，2025)。

表 1. 运行时增强范式对比。技能独特地结合了模块化打包、程序性指导和可选的可执行资源，同时保持跨模型和框架的可移植性。

2.2. 任务规范

SKILLS BENCH 中的每个任务都是一个自包含模块，包含四个组件：

• 指令。一个人类可读的任务描述，指定目标、输入格式和预期输出。我们编写的指令使得即使没有配套技能，知识渊博的人类也能解决，尽管技能可能会大幅减少解决时间。

• 环境。一个 Docker 容器，包含任务特定的数据文件和一个包含模块化技能包的 skills/ 子目录。该容器通过隔离的依赖关系和干净的文件系统状态确保可重复性。

• 解决方案。一个参考实现，证明任务的可解性。该标准解决方案验证每个任务至少有一条正确的解决路径。

• 验证器。带有程序化断言的确定性测试脚本，在适当情况下包含数值容差。这确保了无需依赖“LLM 作为评判者”的可重复通过/失败判定，遵循基于执行的评估最佳实践 (Wang 等人，2023b；Brown，2025)。

2.3. 数据集构建

技能和我们任务规范的表达性和灵活性，使得能够广泛覆盖不同领域和问题类型。为了最大化这种多样性，我们采用了社区驱动的开源贡献模式：来自学术界和工业界的 105 位贡献者提交了 322 个候选任务。我们统计了包含完整任务规范（指令、环境、解决方案和验证器）以及作者评估的难度等级的提交。从这个池子中，我们策划了最终的 SKILLS BENCH 数据集。

2.4. 贡献原则

贡献者必须满足明确的要求，以确保任务质量并防止走捷径：

人类撰写的指令。任务指令必须由人类编写，而非语言模型生成。我们强制执行此规定，因为 LLM 生成的查询将受限于 LLM 的分布，而这正是我们评估的对象，且 LLM 生成的查询大多数时候质量较低。

技能通用性。技能必须为一类任务提供程序性指导，而非针对特定实例的解决方案。指令不得提及应使用哪些技能，这意味着智能体必须自主发现并应用技能。这确保我们衡量的是真正的技能利用，而非指令遵循。

确定性验证。所有成功标准必须可通过程序化断言进行测试。我们目标是为验证所需的最少测试数量，既避免覆盖不足，也避免导致人为低通过率的冗余测试膨胀。测试必须包含信息丰富的错误消息，并使用参数化而非重复。

自动化验证。每份提交在人工审查前都经过自动化验证：

• 结构验证：所需文件存在（instruction.md, task.toml, solve.sh, test_outputs.py），目录布局正确，TOML/YAML 语法有效。

• 标准解决方案执行：参考解决方案必须达到 100% 的测试通过率。标准解决方案失败的任务将被拒绝。

• 指令质量：指令必须由人类编写（我们同时应用人工审查和 GPTZero 审查，并确保我们所有任务都具有人工标签）。我们还根据六个标准（明确的输出路径、结构化需求、成功标准、列出约束、上下文优先排序）评估指令。

人工审查。在自动化检查通过后，维护人员进行手动评审，评估五个标准：(1) 数据有效性：输入数据必须反映现实世界的复杂性；除非有正当理由，否则拒绝合成或玩具数据；(2) 任务真实性：场景必须反映真实的专业工作流程，不存在人为制造的困难；(3) 标准解决方案质量：参考解决方案应与领域专家解决问题的方式相匹配；(4) 技能质量：技能必须无错误、内部一致，并且对此基准测试之外的类似任务真正有用；(5) 防作弊：任务必须防止捷径解决方案（编辑输入数据、从测试文件中提取答案、利用验证器实现）。评审员会在多个智能体上运行有无技能的基准实验，以确认每个任务都能提供关于技能有效性的有意义的信号。图 2 提供了三阶段流程的端到端概述：基准构建、质量过滤和评估。

泄漏预防。为防止技能编码特定于任务的解决方案，我们强制执行明确的编写指南并进行泄漏审计。一个基于 Claude Code Agent SDK 的验证代理在 CI 中运行，以检测潜在技能-解决方案泄漏；失败的任务将被拒绝。技能不得包含：特定任务的文件名、路径或标识符；解决基准测试任务的确切命令序列；来自任务规范的常量、魔术数字或值；对特定测试用例或预期输出的引用。技能必须应用于一类任务，而非单个实例；提供程序性指导（如何处理），而非声明性答案（输出什么）；且必须独立于基准规范编写。

图 2. SKILLS BENCH 流程概览。阶段 1（基准构建）：我们从三个来源汇总技能——开源仓库（12,847）、Claude Code 生态系统（28,412）和企业合作伙伴（5,891）——去重后得到 47,150 个独特技能。与此同时，322 位贡献者提交了 105 个候选任务。阶段 2（质量过滤）：每个任务都经过自动化检查（结构有效性、AI 检测、泄漏审计）和人工审查（数据有效性、任务真实性、标准解决方案质量、技能质量、防作弊），最终产出横跨 11 个领域的 84 个任务。阶段 3（评估）：任务在三种条件下（无技能、有策划技能、自主生成技能）跨三个商业智能体框架（Claude Code, Gemini CLI, Codex CLI）执行。确定性 pytest 验证器产生通过/失败结果；7 种智能体-模型配置产生 7,308 条轨迹，策划技能平均提升 +12.66 个百分点。

表 2. 基于人类完成时间的任务难度分层。

2.5. 基准构成

SKILLS BENCH 包含横跨 11 个领域的 84 个任务，类别分布如图 3 所示。我们根据难度对任务进行分层，

图 3. SKILLS BENCH 包含横跨 11 个领域的任务。难度通过我们视为任务领域中等水平专家的个人，在无 AI 工具辅助下的预估完成时间来衡量。原始任务贡献者提供了人工时间估计，并由维护团队中同一领域的其他专家评审员进行复核。

3. 实验设置

我们在 SKILLS BENCH 上评估了三个商业智能体框架，涵盖七个前沿模型，在三种技能条件下，产生了 7,308 条有效轨迹。当智能体在无基础设施和运行时错误的情况下，在任务上通过、失败或超时时，该轨迹被视为有效。每条轨迹代表一个智能体在特定技能条件下尝试解决单个任务的一次尝试。

3.1. 智能体框架

我们评估了三个商业命令行智能体：Claude Code (Anthropic, 2025b)、Codex CLI (OpenAI, 2025) 和 Gemini CLI (Google, 2025)。

3.2. 模型

我们选择了七个前沿模型：GPT-5.2 (OpenAI)、Claude Opus 4.5、Claude Opus 4.6、Claude Sonnet 4.5、Claude Haiku 4.5 (Anthropic)、Gemini 3 Pro 和 Gemini 3 Flash (Google)。所有模型均使用温度 0 进行确定性采样。

我们使用每个模型兼容的智能体框架进行评估。Claude Code 运行所有四个 Claude 模型；Gemini CLI 运行 Gemini 模型；Codex CLI 运行 GPT-5.2。这产生了 7 种模型-框架配置。完整配置矩阵见表 7。

3.3. 技能条件

我们在三种条件下评估每个任务：

• 无技能：智能体仅接收 instruction.md，环境中不存在技能。

• 有技能：完整的 environment/skills/ 目录，包含所有示例、代码片段和资源。

• 自主生成技能：不提供技能，但提示智能体在解决问题前生成相关的程序性知识。这隔离了 LLM 潜在领域知识的影响。

自主生成条件在 7 种配置中的 5 种上进行了评估（所有 Claude Code 模型和 Codex）；Gemini CLI 不支持此条件。

3.4. 评估协议

在 SKILLS BENCH 中，我们在任务指令之前将技能作为系统级上下文提供。我们在附录 E 中列出了注入格式和上下文管理细节。对于每种条件，智能体与容器化环境交互，直至任务完成、超时或达到轮次限制。然后验证器执行确定性断言以产生二进制通过/失败结果。

3.5. 评估指标

文本[[87, 866, 472, 896], [498, 84, 884, 172]] 通过率。主要指标是通过率，遵循 Terminal-Bench (Merrill 等人，2026) 的评分方法：对于每个任务，我们对 5 次试验的二元奖励进行平均，然后使用固定分母 84（评估的任务数）对这些任务级别的分数进行平均。 标准化增益。遵循 Hake 在物理教育研究中的公式 (Hake, 1998)，我们将标准化增益定义为：

4. 结果

我们的结果分为两部分：1. 在 84 个任务上，对 7 种 LLM-智能体组合在三种技能条件下的主要评估，以及 2. 对技能设计因素的详细分析，包括数量、复杂性和领域效应。

4.1. 实验 1：跨 LLM-智能体组合的技能有效性

我们评估了策划技能和自主生成技能如何影响跨商业模型-框架配置的智能体性能。我们在所有 84 个任务上，在三种条件下测试了每种配置：无技能、有策划技能和有自主生成技能（在支持的配置上）。

4.1.1. 主要结果

表 3 展示了每种模型-框架组合在三种条件下的通过率，按有技能时的性能排序。

发现 1：技能提供实质性但可变的效益。 在 7 种模型-框架配置上，技能平均提升了 +16.2 个百分点的性能，但不同配置间方差较大（范围：+13.6 个百分点至 +23.3 个百分点）。这种变异性表明，技能的有效性在很大程度上取决于具体的智能体-模型组合，这与技能效益均匀的假设相矛盾。

发现 2：Gemini CLI + Gemini 3 Flash 达到最高性能。 表现最佳的配置是 Gemini CLI 与 Gemini 3 Flash，有技能时达到 48.7% 的通过率。值得注意的是，Claude Code 与 Opus 4.5 实现了最大的提升（+23.3 个百分点），这反映了 Claude Code (Anthropic, 2025b) 原生集成了针对智能体技能规范 (Anthropic, 2025a) 优化的技能。

发现 3：自主生成技能提供可忽略或负面的效益。 当被提示在解决任务前自行生成程序性知识时，模型与无技能基线相比，平均下降了 -1.3 个百分点。只有 Opus 4.6 显示出微弱的提升（+1.4 个百分点）；Codex + GPT-5.2 显著下降（-5.6 个百分点），其余模型持平或下降。这与策划技能（+16.2 个百分点）形成鲜明对比，表明有效的技能需要人类策划的领域专业知识，而模型无法可靠地自行生成。轨迹分析揭示了两种失败模式：（1）模型识别出需要领域特定知识，但生成了不精确或不完整的过程（例如，列出“使用 pandas 处理数据”而不提供具体的 API 模式），以及（2）对于高领域知识要求的任务（制造业、金融），模型通常未能认识到需要专门技能，而尝试使用通用方法解决。

4.1.2. 框架特定可靠性

除技能有效性外，我们还观察到商业框架在可靠性上的差异：

• Claude Code：技能利用率最高；提升范围从 Opus 4.6 的 +13.9 个百分点到 Opus 4.5 的 +23.3 个百分点，所有 Claude 模型均持续受益。

• Gemini CLI：原始性能最高（Gemini 3 Flash 有技能时达到 48.7%）；提升范围从 +13.6 到 +17.4 个百分点。

• Codex CLI：有技能时原始性能具竞争力（44.7%）；但经常忽略提供的技能——智能体承认技能内容，但通常独立实现解决方案。

4.1.3. 领域级分析

发现 4：技能效益因领域而异。 表 4 展示了按领域的技能有效性，揭示了显著的异质性。医疗保健（+51.9 个百分点）和制造业（+41.9 个百分点）受益最大，而数学（+6.0 个百分点）和软件工程（+4.5 个百分点）的提升较小。需要模型预训练中代表性不足的专业程序性知识的领域（如临床数据协调、制造工作流）显示出最大的改进，而预训练覆盖良好的领域则从外部程序性指导中获益较少。

图 4. 通过率与成本之间的帕累托前沿。填充标记表示有技能条件；空心标记表示无技能条件。技能将帕累托前沿向上移动，Gemini 3 Flash 和 Claude Opus 主导了有技能的前沿。此图中的成本位置反映了评估基础设施的定价模型。轨迹分析显示，Flash 每任务消耗的输入 token 是 Pro 的 2.3 倍（1.08M 对比 0.47M），这是一种补偿策略，即较小的模型用迭代探索代替推理深度。按官方 API 定价（输入 token 每百万 $0.50 对比 $2.00），Flash 每 token 成本低 4 倍，足以抵消更高的 token 量，使得 Flash 每任务成本低 44%（$0.55 对比 $0.98）。

表 4. 按领域划分的技能有效性（84 个评估任务，11 个领域）。所有领域均显示正向的总增量，但每个领域内的个别任务可能显示负面效果。

4.1.4. 任务级分析

对 84 个独立任务的分析揭示了技能有效性的高方差：

技能受益最大的任务。显示出最大改进的任务：mario-coin-counting（从 2.9% 提升至88.6%）、sales-pivot-analysis（+85.7 个百分点）、flood-risk-analysis（+77.1 个百分点）、sec-financial-report（+74.3 个百分点）。这些任务涉及预训练中很少涵盖的专业程序性知识。

技能在某些任务上损害性能。尽管领域汇总为正，但 84 个任务中有 16 个显示出负的技能增量：taxonomy-tree-merge（-39.3 个百分点）、energy-ac-optimal-power-flow（-14.3 个百分点）、trend-anomaly-causal-inference（-12.9 个百分点）、exoplanet-detection-period（-11.4 个百分点）。这些失败表明，对于模型已经处理得很好的任务，技能可能会引入冲突的指导或不必要的复杂性。

4.2. 实验 2：技能设计因素

为了理解技能设计如何影响有效性，我们分析了技能数量、复杂性与性能之间的关系。

4.2.1. 技能数量分析

表 5. 按提供的技能数量划分的通过率。2-3 个技能显示出最优效益。

发现 5：2-3 个技能是最优的；更多技能会带来递减收益。 表 5 展示了按每任务提供的技能数量分层的性能。具有 2-3 个技能的任务显示出最大的改进（+18.6 个百分点），而 4 个以上技能仅提供 +5.9 个百分点的效益。这种非单调关系表明，过多的技能内容会造成认知开销或冲突指导。

4.2.2. 技能复杂性分析

表 6. 按技能复杂性级别划分的通过率。详细和紧凑的技能优于全面的技能。

发现 6：中等长度的技能优于全面的技能。 我们在表 6 中展示了技能文档复杂性对性能的影响。详细（+18.8 个百分点）和紧凑（+17.1 个百分点）的技能提供了最大的益处，而全面的技能实际上损害了性能（-2.9 个百分点）。这表明重点突出的程序性指导比详尽的文档更有效——智能体可能难以从冗长的技能内容中提取相关信息，而且过于详细的技能会消耗上下文预算却不提供可操作的指导。

4.2.3. 模型规模效应

我们研究了基础模型规模在 Claude 模型家族（Opus, Sonnet, Haiku 4.5）中的影响。

发现 7：较小的模型 + 技能可以超过没有技能的大型模型。 Claude Haiku 4.5 搭配技能（27.7%）比没有技能的 Haiku（11.0%）高出 +16.7 个百分点。同时，没有技能的 Claude Opus 4.5 达到 22.0%。这表明技能可以在程序性任务上部分补偿模型能力的限制。

5. 讨论

技能弥合程序性差距。 当成功取决于具体过程和面向验证器的细节（步骤、约束、合理性检查），而非广泛的概念知识时，技能最有帮助。我们在具有专业工作流或严格格式的领域观察到较大收益，而在模型已有强先验且技能增加开销或冲突时，收益较小甚至为负。

框架调节技能的使用。 技能的有效性不仅取决于技能质量，还取决于框架如何实现技能。一些框架可靠地检索并使用技能，而另一些则经常承认技能内容但不调用它们。结构化接口也可能引入长轨迹失败模式（例如，格式漂移），降低早期注入技能的影响。这促使我们在多个框架下评估技能，而不是将“有技能”视为单一条件。

对技能编写的启示。 我们的分析表明，简洁、逐步的指导加上至少一个工作示例通常比详尽的文档更有效；过长的技能定义会增加上下文负担而不改善决策。模块化技能似乎在多部分任务上组合得更好，并且技能应明确匹配框架的约束（例如，对于仅 JSON 协议，重复格式提醒）。

5.1. 局限性与未来工作

覆盖范围与泛化性。 SKILLS BENCH 侧重于基于终端、容器化的任务以实现可重复评估，因此结果可能不会直接转移到 GUI 智能体、多智能体协调或超长周期工作流。我们还评估了一组有限的模型和框架；商业框架的行为和技能集成可能随时间变化。一个自然的扩展是为在 GUI 环境中运行的视觉-语言智能体开发多模态技能和协议。

因果归因与控制。 技能注入增加了上下文长度，因此观察到的收益可能部分反映了“更多上下文”而非程序性结构。我们的自主生成技能条件表明结构很重要——模型无法在拥有相同上下文预算的情况下可靠地生成有效的程序性指导——但未来的工作需要更强的长度匹配基线（例如，随机/无关文本和仅检索文档控制）。这些基线也使得研究从演示或文档中自动合成技能，以及隔离哪些技能组件（步骤、示例、代码资源）推动了改进成为可能。

确定性、污染和生态效度。 容器化提供了状态隔离，但并非完美的确定性或对训练集泄漏的免疫力。我们通过多次运行、泄漏审计（§2.4）和配对（有技能 vs. 无技能）比较来缓解，但无法消除所有非确定性或记忆效应。未来工作应评估生态系统代表性的设置，包括低质量和自动选择的技能，并研究技能组合——何时多个技能有帮助或干扰，以及组合性能是否可以从原子技能效应预测。

6. 相关工作

SKILLS BENCH 与先前关于以下方面的工作相关联：（1）基准测试 LLM 智能体，（2）用程序性知识和工具增强智能体，以及（3）评估异构系统中的改进。

智能体基准测试。 最近的评估在现实环境中对端到端智能体能力进行评估，包括 Terminal-Bench (Merrill 等人，2026)、SWE-bench 及其后续工作 (Jimenez 等人，2024；Yang 等人，2024；2025)。更广泛的环境覆盖出现在 AgentBench 和交互式/网络/GUI 环境中 (Liu 等人，2023；Zhou 等人，2024b；Koh 等人，2024；Xie 等人，2024)。其他套件强调工具中介工作流、交互式执行反馈或领域专业化 (Yao 等人，2025；Trivedi 等人，2024；Yang 等人，2023；Chan 等人，2025；Zhang 等人，2024；Zhuo 等人，2025；Austin 等人，2021；Ye 等人，2025)。这些基准测试衡量固定智能体完成任务的能力。SKILLS BENCH 则通过配对评估来衡量增强效果。

程序性增强与工具使用。 先前的工作通过结构化推理或外部知识增强智能体，例如 CoALA 和 Voyager (Sumers 等人，2023；Wang 等人，2023a)，用于多步骤问题解决的思维链和 ReAct (Wei 等人，2022；Yao 等人，2023；2022；Shinn 等人，2023；Madaan 等人，2023；Zhou 等人，2023；2024a)，以及检索/工具使用 (Lewis 等人，2020；Zhou 等人，2022；Schick 等人，2023；Qin 等人，2024) 和声明式优化框架 (Khattab 等人，2023)。技能结合了程序性指导和可执行资源（§2.1）。尽管有许多增强方法，基准测试很少量化它们的实际影响。

技能生态系统与评估方法论。 Anthropic 的 Agent Skills 和 MCP 规范 (Anthropic, 2025a；2024) 形式化了技能包和工具连接性，而智能体 CLI（Claude Code, Gemini CLI, 和 Codex）提供了现实世界的框架 (Anthropic, 2025b；Google, 2025；OpenAI, 2025)。SKILLS BENCH 同时评估了商业框架和基于 Terminal-Bench (Merrill 等人，2026) 的模型无关框架，以分离模型和框架效应。最后，更广泛的基准测试推动了仔细的报告和可比性 (Mattson 等人，2020；Chiang 等人，2024；Srivastava 等人，2023)；我们报告了绝对增益和标准化增益 (Hake, 1998) 以比较不同基线的改进（§3.5）。

7. 结论

我们介绍了 SKILLS BENCH，这是首个将智能体技能作为一等工件进行系统评估的基准测试。通过在 84 个任务、7 种智能体-模型配置以及三种条件下（无技能、策划技能、自主生成技能）的 7,308 条轨迹，我们的评估得出了四个主要发现：（1）策划技能提供了实质性但可变的效益（平均提升 16.2 个百分点，跨领域和配置方差大）；（2）自主生成技能提供可忽略或负面的效益（平均 -1.3 个百分点），表明有效技能需要人类策划的领域专业知识；（3）少即是多——包含 2-3 个模块的重点技能优于全面的文档；以及（4）技能可以部分替代模型规模，使较小的模型在程序性任务上能够媲美较大的模型。这些结果确立了技能有效性并非普适而是依赖上下文的，这促使配对评估成为智能体增强研究的标准实践。SKILLS BENCH 为原则性的技能设计、选择和部署提供了实证基础和开放基础设施。