技能测试员

工程开发 社区

技能解读

当前原文的自动摘译,尚未人工审校。

1a.读取目标技能

用户提供技能名称或路径 完整阅读目标技能的 SKILL.md + 所有引用文件 绘制出: 技能类型:程序性/信息性 输入:该技能期望什么? (用户消息、任务文件、结构化数据)

1b.设计测试提示

应用 test-design-guide.md 中的标准设计测试提示(现实提示、断言设计、角色设置):提出 2-3 个测试提示: 1 个愉快路径:最常见的标准用例 1-2 个边缘情况:技能可能会中断或表现异常

1c.设计触发器 eval 查询

应用trigger-eval-guide.md 中的模式设计触发器评估查询:生成 15-20 个触发器评估查询: 8-10 应该触发:技能预期用途的不同措辞 8-10 不应该触发:共享关键字但需要不同内容的未遂事件

1d。与用户确认

呈现完整的测试计划: 带断言的测试提示 触发评估查询 跑步者角色的建议模型(使用默认值,仅在用户请求时修改)

2a.设置

创建工作区:~/.claude/skill-tests/{skill-name}/iteration-{N}/(首次运行时 N = 1,重新运行时递增)将测试计划保存到工作区:evals.json,包含所有提示和断言 trigger-evals.json,包含所有触发器查询

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
工程开发
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@pavel-molyanov · 未声明许可证
上下文用量评级
中等消耗
接入复杂程度
需简单配置
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
未检出明确要求
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第五阶段:报告

根据report-template.md构建报告。该报告包括: 每个场景的结果 — 断言 × 带有证据的跑步者表 技能合规性 — 逐阶段执行检查

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。