技能审核员

运维部署 社区

技能解读

当前原文的自动摘译,尚未人工审校。

审核管道

第 1 步和第 6 步运行两个硬拒绝门。两者都是强制性的,不能跳过。所有其他步骤都按顺序运行。第 9 步始终运行——即使否决门启动,经过精心设计的输出也会纠正被拒绝的技能,而不是放弃它。

语言政策

所有审核输出都必须以英语编写,无论用户请求或提交的技能中使用何种语言。这适用于该技能生成的每个工件: 否决报告(步骤 1 和步骤 6) 静态评估分数和注释(步骤 2) 生成的测试输入(步骤 4)

3.1 技能分类

阅读该技能的description前言和## When to Use部分。 → 完整类别定义:references/classification.md · 类别 · 典型技能 1 · 证据洞察力 · 搜索策略构建器、数据库侦察、关键评估工具、证据合成器 2 · 方案设计 · 实验设计生成器、研究类型顾问、统计功率规划器、验证策略师

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
运维部署
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
94 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@aipoch · MIT
上下文用量评级
较高消耗
接入复杂程度
需手动接入
是否需要外部接口密钥
不需要
兼容的系统
macOS
运行环境要求
Node.js · Python
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
网络行为
允许外网请求
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第 1 步:技能否决——结构性红线❌

硬门。任何失败=立即拒绝。不要继续执行步骤 2。阅读目标技能的`SKILL.md` 和任何捆绑的脚本。检查所有四个维度: → 完整标准:`references/basic_veto.md` 维度·立即拒绝触发器 T1。运行稳定性·故障率>20%;随机崩溃或无限循环;无法解决的依赖冲突需要手动干预

02
第 2 步:基本评估 — 25 个标准(ISO 25010 + OpenSSF + Shneiderman + Agent)

阅读该技能的完整 SKILL.md 和所有捆绑文件。对 25 个标准中的每一个进行评分(从 0 到 4)。 → 包含每个级别描述的完整标题: `references/basic_evaluation.md` · 类别(框架) · 标准 · 最大 1 · 功能适用性 (ISO 25010) · 完整性、正确性、适当性 · 12 2 · 可靠性 (ISO 25010) · 容错性、错误报告、可恢复性 · 12

03
第 4 步:动态输入生成

目的:生成直接源自技能自身描述的测试输入,以确保它们反映真实世界的使用模式。

04
第 5 步:执行测试

使用检测到的执行模式在 N 个测试输入中的每一个上运行技能。

05
第6步:多层输出评估

评估三个并行层的所有 N 个输出。

06
第 7 步:人工审核 — Eval Viewer

生成结构化 Markdown 审查文档以供人工检查。输出位置。将评估查看器保存在已审核技能旁边,使其与它所描述的工件保持一致:其中 `<audited_skill_path>` 是包含技能的 `SKILL.md` 的目录(用户传入的路径)。如果该目录不可写,请返回到`/tmp/eval_viewer_<skill_name>.md`并在最终报告中记下后备。

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。