技能化

其他 社区 v1.1.0

技能解读

当前原文的自动摘译,尚未人工审校。

合同

当所有 11 个清单项目都通过时,某个功能就被“熟练掌握”。第 3 项(跨模式评估)在 v1.1.0 中是信息性的 — 它不会对技能包检查审核进行门控,但会显示丢失或过时的收据,以便用户知道门的位置。

SKILL.md frontmatter 模板(复制粘贴):

正文必须包括:合同(它保证什么)、阶段(逐步)、输出格式(它产生什么)。将确定性代码提取到scripts/*.ts中。

为什么这发生在测试之前

测试锁定行为。如果行为平庸,测试就会锁定平庸。跨模式评估首先证明质量标准,然后进行测试巩固它。

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
通用
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
92 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@garrytan · v1.1.0 · 未声明许可证
上下文用量评级
中等消耗
接入复杂程度
需手动接入
是否需要外部接口密钥
需要 · OpenAI / Anthropic
兼容的系统
macOS · Linux · Windows
运行环境要求
未检出明确要求
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
  • 读取环境变量
网络行为
允许外网请求
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第 0 阶段:这应该是一项技能吗?

在技能化之前,检查:这个会被调用2次以上吗? (一次性工作≠技能)是否有超过 20 行逻辑? (简单的助手不需要完整的基础设施)它是否有用户实际上会说的明确的触发短语?如果这三个都不是,那就是脚本,而不是技能。继续前行。

02
第 1 步:选择有代表性的输入

选择能够练习该技能最难记录的用例的输入。如果不确定:使用 SKILL.md 中的主要触发器示例,或最近 7 天的内存文件中最复杂的现实世界输入。

03
第2步:运行技能,捕获输出

在代表性输入上运行技能。输出文件是被评估的内容。

04
第 3 步:运行评估门

该命令并行运行来自 3 个不同提供商的 3 个前沿模型,根据 5 个记录维度上的任务对输出进行评分,并在 `~/.gbrain/.gbrain/eval-receipts/<slug>-<sha8>.json` 下写入收据(sha-8 将收据绑定到当前 SKILL.md 内容 — 编辑后重新运行写入新收据)。

05
第 4 阶段:测试(第 4-6 项)

现在 eval 已经证明了质量,编写测试将其锁定:单元测试 - 确定性逻辑的每个分支。模拟外部调用。集成测试——达到真正的端点。捕捉错误模拟隐藏。 LLM 评估 — LLM 步骤的质量/正确性。比跨模式评估更轻——测试特定行为。

06
阶段 5:解析器 + 检查-可解析(第 7-9 项)

使用触发短语添加到 Skills/RESOLVER.md 用户实际类型 Resolver eval:馈送触发器,断言正确的路由 检查可解析:可从 Skills/RESOLVER.md 访问技能(不是孤立的) MECE 与其他技能不重叠

07
阶段 6:E2E + 大脑归档(第 10-11 项)

E2E烟雾:从触发到副作用的完整流程大脑归档:如果技能写入大脑页面,则添加到brain/RESOLVER.md

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。