技能评估

工程开发 社区

技能解读

当前原文的自动摘译,尚未人工审校。

参考装载表

信号 · 加载这些文件 · 为什么任务与此参考相关 · schemas.md · 从 schemas.md 加载详细指导。与此参考相关的任务 · self-improve-loop.md · 从 self-improve-loop.md 加载详细指导。 “烘焙”、“头对头”、“比较实现”、“两个版本”、“哪个费曼技能更好” · bake-off-methodology.md · 加载烘焙标题、反合理化门、折叠过滤器和工作费曼示例。

错误:“未找到 SKILL.md”

原因:技能路径未指向有效的技能目录解决方案:验证路径包含SKILL.md文件。技能必须遵循skill-name/SKILL.md结构。

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
工程开发
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@notque · 未声明许可证
上下文用量评级
较高消耗
接入复杂程度
需简单配置
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
未检出明确要求
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
  • 读取环境变量
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第 1 阶段:评估 — 确定要评估的内容

步骤 1:识别技能 这会检查:SKILL.md 是否存在、有效的 frontmatter、必填字段(名称、描述)、短横线命名、描述少于 1024 个字符、无尖括号。步骤2:根据用户意图选择评估模式 Intent · 模式 · 脚本“测试描述是否正确触发” · 触发评估 · `run_eval.py`

02
第 2 阶段:评估 — 进行适当的评估

模式 A:触发评估 测试技能的描述是否会导致 Claude 调用它来进行正确的查询。步骤 1:创建评估集(或使用现有的) 创建一个包含 8-20 个测试查询的 JSON 文件。评估集质量很重要——使用带有细节的现实提示(文件路径、上下文、随意的措辞),而不是抽象的俏皮话。重点关注该技能与相邻技能竞争的边缘情况。良好的评估查询示例:

03
第 3 阶段:改进 — 应用结果

第 1 步:查看结果 对于触发器评估/描述优化:显示最佳描述与原始描述 显示每个查询结果(哪些查询改进,哪些查询退化) 显示训练与测试分数

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。