技能创建与评测

人工智能 社区

技能解读

评测流程

先定目标与现有草稿,再由用户决定是否加入评测。需要评测且环境支持时,准备真实测试提示,同时运行启用技能的 with_skill 版本和不启用的基线,比较输出后改稿。

结果怎么判

  • 测试结果按固定目录保存;客观要求写成可运行断言,主观质量交给用户在 eval-viewer/generate_review.py 中逐例反馈。
  • scripts.aggregate_benchmark 汇总通过率、耗时和 token;还要检查没有区分度的断言、高方差样例和成本取舍。
  • 下一轮保留同一组测试与基线,再用 --previous-workspace 对比;修改应概括多条反馈的共性,避免为单个样例堆特判。

触发与环境限制

触发描述的优化是后续可选步骤,需要同时准备应触发和近似但不应触发的查询。不同运行环境对子代理、浏览器和评测ai 和 Cowork 的降级方式,不能假设能力一致。

适用范围

文件转换、数据提取等有明确对错的任务适合测试;写作风格、艺术创作等主观任务可以直接收集用户反馈,不强行设置断言。没有子代理的环境按原文降级:逐例执行,省略基线与定量对照。

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
人工智能
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@anthropics · 未声明许可证
上下文用量评级
低消耗
接入复杂程度
需简单配置
是否需要外部接口密钥
不需要
兼容的系统
macOS · Linux · Windows
运行环境要求
Python
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第 1 步:在同一回合中生成所有跑动(带技能和底线)

对于每个测试用例,在同一回合中生成两个子代理 - 一个具有技能,一个没有技能。这很重要:不要先生成 with-skill 运行,然后再返回基线。立即启动所有内容,以便所有内容大约在同一时间完成。带技能运行:基线运行(相同的提示,但基线取决于上下文):创建新技能:根本没有技能。同样的提示,没有技能路径,保存到`without_skill/outputs/`。

02
第 2 步:在运行过程中,草拟断言

不要只是等待运行完成——您可以高效地利用这段时间。为每个测试用例起草定量断言并向用户解释。如果断言已存在于`evals/evals.json`中,请检查它们并解释它们检查的内容。好的断言是客观可验证的,并且具有描述性名称——它们应该在基准查看器中清晰地阅读,以便人们在浏览结果时立即了解每个断言检查的内容。主观技能(写作风格、设计质量)可以更好地进行定性评估——不要将断言强加于需要人类判断的事情上。

03
第 3 步:运行完成后,捕获计时数据

当每个子代理任务完成时,您会收到一条包含 `total_tokens` 和 `duration_ms` 的通知。立即将此数据保存到运行目录中的`timing.json`:这是捕获此数据的唯一机会 - 它来自任务通知,不会保留在其他地方。在每个通知到达时对其进行处理,而不是尝试对它们进行批处理。

04
第 4 步:评分、聚合并启动查看器

所有运行完成后: 对每次运行进行评分 — 生成一个评分器子代理(或内联评分),读取`agents/grader.md`并根据输出评估每个断言。将结果保存到每个运行目录中的`grading.json`。 grading.json 期望数组必须使用字段 `text`、`passed` 和 `evidence`(不是 `name`/`met`/`details` 或其他变体)——查看器取决于这些确切的字段名称。对于可以通过编程方式检查的断言,编写并运行脚本而不是盯着它——脚本更快、更可靠,并且可以在迭代中重用。

05
第 5 步:阅读反馈

当用户告诉您他们已经完成时,请阅读`feedback.json`:空反馈意味着用户认为一切都很好。将改进重点放在用户有具体投诉的测试用例上。完成后杀死查看服务器:

06
第 1 步:生成触发器 eval 查询

创建 20 个评估查询 - 应该触发和不应该触发的混合。 另存为 JSON:查询必须是现实的,并且是 Claude Code 或 Claude.ai 用户实际会输入的内容。

07
第 2 步:与用户一起审核

使用 HTML 模板将 eval 集呈现给用户进行审阅:从 `assets/eval_review.html` 读取模板,替换占位符:`__EVAL_DATA_PLACEHOLDER__` → eval 项的 JSON 数组(周围没有引号 - 这是一个 JS 变量赋值)`__SKILL_NAME_PLACEHOLDER__` → 技能名称

08
第 3 步:运行优化循环

告诉用户:“这需要一些时间 - 我将在后台运行优化循环并定期检查它。”将评估集保存到工作区,然后在后台运行:使用系统提示符(为当前会话提供动力的提示符)中的模型 ID,以便触发测试与用户实际体验相匹配。当它运行时,定期跟踪输出,以便为用户提供有关其正在进行的迭代以及分数的更新信息。

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。