Agent测试
- 作者仓库星标 188,749
- 作者更新于 实时读取
- 作者仓库 ECC
- 领域
- 文档
- 兼容 Agent
-
- Claude Code
- Cursor
- Cline
- Codex
- Windsurf
- Gemini CLI
- +20
- 信任分
- 88 / 100 · 社区维护
- 作者 / 版本 / 许可
- @affaan-m · 未声明 license
- Token 消耗评级
- 低消耗
- 接入复杂程度
- 即装即用
- 是否需要外部 API Key
- 不需要
- 兼容的系统
- 未声明(默认跨平台)
- 底层运行要求
- Python
- 文件与系统权限
-
- 只读
- 允许写入 / 修改
- 网络行为
- 仅限本地
- 安装命令数
- 26 条
档案由构建时根据 SKILL.md 与安装命令自动衍生,可能与作者实际意图存在差异。
需要注意: 未限定 allowed-tools,默认拥有全部工具权限。
---
name: skill-comply
description: 可视化技能、规则和代理定义是否被实际遵循——自动生成3种提示严格级别的场景,运行代理,分类行为序列,并报告完整工具调用时间线的合规率 通过以下方式测量编码代理是否实际遵循技能、规则或代理定义:…
category: 文档
runtime: Python
---
# skill-comply 输出预览
## PART A: 任务判断
- 适用问题:PRD、RFC、README、项目说明或知识库整理。
- 输入要求:目标材料、限制条件、期望输出和验收方式。
- 证据边界:围绕“支持的目标 / 何时激活 / 使用方法”读取原文规则,不把推断写成作者承诺。
## PART B: 执行结果
- **01** 任务判断:确认你的需求是否属于PRD、RFC、README、项目说明或知识库整理,并标出输入、限制和预期结果。
- **02** 执行计划:优先按“支持的目标 / 何时激活 / 使用方法”拆成步骤,说明每一步会读取什么、修改什么、产出什么。
- **03** 交付结果:给出可复制的命令、文件改动、检查清单或内容草稿,并说明如何继续迭代。
- **04** 风险边界:结合 读取文件、写入/修改文件、主要在本地完成、通常不需要额外 API Key 给出执行前确认项。
## Running Rules
- 读取文件、写入/修改文件;主要在本地完成;通常不需要额外 API Key。
- 先小样例验证,再放大到真实任务。
- 交付时同时给结果、检查口径和下一步迭代建议。 先确认触发方式
原文出现了 `/skill-comply` 这类斜杠命令;如果你的 Agent 支持命令触发,优先用命令开场,再补充目标和边界。
给清楚输入和边界
告诉 Agent 目标文件或材料、期望结果、不可改范围、是否允许联网或执行命令。本 Skill 的权限画像是:读取文件、写入/修改文件。
小样例验证后再放大
先用一个小任务确认它会围绕“支持的目标 / 何时激活 / 使用方法”工作;涉及文件或命令时,先看 diff、日志、预览或测试结果。
复核后再交付
检查最终产物是否包含明确结果、必要证据和下一步动作;如果输出泛泛而谈,就补充输入、边界和验收标准后重跑。
---
name: skill-comply
description: 可视化技能、规则和代理定义是否被实际遵循——自动生成3种提示严格级别的场景,运行代理,分类行为序列,并报告完整工具调用时间线的合规率 通过以下方式测量编码代理是否实际遵循技能、规则或代理定义:…
category: 文档
source: affaan-m/ECC
---
# skill-comply
## 什么时候使用
- 用于组织测试、定位失败并形成修复闭环 适合处理README、PRD、RFC、教程和知识库文档,核心价值是把输入、判断、执行、验证和交付边界固定下来,避免 Agent 泛泛回答。 把任务拆成可执行、可检查、可继续迭代的步骤;通常不需要额外…
- 面向PRD、RFC、README、项目说明或知识库整理,优先处理能明确输入、步骤和验收标准的工作。
## 需要提供什么
- 目标材料、目录范围、期望结果和不可改动内容。
- 是否允许联网、执行命令、读写文件或调用外部服务。
## 执行规则
- 围绕「支持的目标 / 何时激活 / 使用方法」组织步骤,不把推断写成作者事实。
- 读取文件、写入/修改文件;主要在本地完成;通常不需要额外 API Key。
- 先跑小样例,确认结果可检查后再扩大任务范围。
## 输出要求
- 给出最终产物、关键证据、验证方式和下一步动作。
- 信息不足时标记 unknown,不编造命令、平台或依赖。 证据边界与执行链路
作者原文负责流程事实;仓库文件负责来源和命令;流狐只补充适用场景、限制和质量判断。
skill "skill-comply" {
输入层 -> 用户目标 + 目标文件 + 禁止范围 + 验收标准
上下文层 -> 支持的目标 / 何时激活 / 使用方法
规则层 -> SKILL.md 触发条件 / 执行顺序 / 输出格式
运行层 -> Python | 读取文件、写入/修改文件 | 主要在本地完成
安全层 -> 通常不需要额外 API Key + 小任务验证 + diff / 日志复核
输出层 -> 可复制结果 + 检查清单 + 下一步迭代
} skill-comply:自动化合规性测量
通过以下方式测量编码代理是否实际遵循技能、规则或代理定义:
- 从任意 .md 文件自动生成预期行为序列(规范)
- 自动生成提示严格程度递减的场景(支持性 → 中性 → 竞争性)
- 运行
claude -p并通过 stream-json 捕获工具调用轨迹 - 使用 LLM(而非正则表达式)将工具调用分类到规范步骤
- 确定性检查时间顺序
- 生成包含规范、提示和时间线的自包含报告
支持的目标
- 技能(
skills/*/SKILL.md):工作流技能,如搜索优先、TDD 指南 - 规则(
rules/common/*.md):强制性规则,如 testing.md、security.md、git-workflow.md - 代理定义(
agents/*.md):代理是否在预期时被调用(内部工作流验证尚不支持)
何时激活
- 用户运行
/skill-comply <path> - 用户询问"这条规则是否真的被遵循?"
- 添加新规则/技能后,验证代理合规性
- 作为质量维护的一部分定期执行
使用方法
# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md
# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md
# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet <path>
关键概念:提示独立性
测量技能/规则是否在提示未明确支持时仍被遵循。
报告内容
报告是自包含的,包括:
- 预期行为序列(自动生成的规范)
- 场景提示(每个严格程度级别询问的内容)
- 每个场景的合规性评分
- 带有 LLM 分类标签的工具调用时间线
高级(可选)
对于熟悉钩子的用户,报告还包含针对合规性较低的步骤的钩子提升建议。此为参考信息——主要价值在于合规性本身的可见性。
先判断是否适合
作者设计意图
作者的方法与取舍
边界和复核