规则质量评估器

安全 社区

技能解读

当前原文的自动摘译,尚未人工审校。

两阶段概述

第 1 阶段 — 静态批评(始终):阅读规则,根据七个属性进行评分,检测结构问题,生成记分卡。无代理执行。第 2 阶段 — 行为测试(选择加入):生成编码任务、导出断言、移交给上下文评估、综合报告。仅面试后备:如果无法访问说明文件,请要求用户粘贴规则。末尾标记:“我无法验证代码库对齐 - 代码模式检查需要手动验证。”

第 2 步:对每条规则进行评分——七个属性

通过计算满足的属性(每个二进制)来得分 0-7。属性 · ID · 得分 0 · 得分 1 具体且可证伪 · P1 · “编写干净的代码” · “每个 API 处理程序都必须返回 Result<T, AppError>,绝不抛出” 编码原因 · P2 · “不要使用 console.log” · “不要使用 console.log — 使用 src/lib/logger.ts。绕过相关 ID,破坏 Datadog 跟踪” 源于真正的失败 · P3 · “小心处理错误” · “从不在未经 DBA 批准的情况下向reservations 添加索引 — 复合索引在 2024 年第 2 季度锁定表 47 分钟”

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
安全
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@tomevault-io · 未声明许可证
上下文用量评级
低消耗
接入复杂程度
需简单配置
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
未检出明确要求
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第 1 步:摄取

阅读说明文件。检测格式(Markdown 散文、结构化规则列表、YAML 标题、围栏部分)。解析为单独的规则——一条规则=一条离散的行为指令。根据项目符号、编号项目或开始祈使句的段落分隔符进行拆分。可以选择扫描代码库以查找 linter 配置 (`.eslintrc`、`pyproject.toml`、`ruff.toml`)、类型配置 (`tsconfig.json`)、CI 配置 (`.github/workflows/`)。启用冗余检测。

02
第 2 步:对每条规则进行评分——七个属性

通过计算满足的属性(每个二进制)来得分 0-7。属性 · ID · 得分 0 · 得分 1 具体且可证伪 · P1 · “编写干净的代码” · “每个 API 处理程序都必须返回 `Result<T, AppError>`,绝不抛出” 编码原因 · P2 · “不要使用 console.log” · “不要使用 console.log — 使用 `src/lib/logger.ts`。绕过相关 ID,破坏 Datadog 跟踪” 源于真正的失败 · P3 · “小心处理错误” · “未经 DBA 批准,切勿向 `reservations` 添加索引 - 2024 年第 2 季度复合索引锁定表 47 分钟”

03
第三步:结构分析

冗余:标记重复 linter(ESLint、Ruff、Pylint)、类型系统(TypeScript strict、mypy)或 CI(测试门、构建门)的规则。冗余规则浪费预算并淡化信号。范围:“此规则是否适用于代理在此目录中看到的所有代码?”标志:范围过大:根文件中的包特定规则范围不足:子目录之间重复的相同规则应向上移动覆盖范围 - 映射到九个类别:

04
第四步:制作记分卡

输出,然后询问是否运行阶段 2。 规则记分卡 — `[file path]` 规则(截断) · 得分 · 最弱属性 · 标志“…” · N/7 · P? · 弱/噪音/冗余/范围过大的摘要统计

05
第5步:生成编码任务

生成 3 个编码任务。每个:大约 50 行代码来生成 2+ 条规则(区分评分) 优先级:规则评分 3-5(不确定)、C7 安全或 C2 域(高风险)、事件产生的规则 (P3 = 1) 每个任务:执行了哪些规则,正确的行为是什么样的。

06
第 6 步:生成断言

每条规则一个可测试断言:可在代理输出中观察到(无需执行) 通过/失败检查 写入`evals/evals.json`:

07
第 7 步:移交给上下文评估

被测线束 = 说明文件。基线 = 没有文件的相同任务。 context-eval 在有/没有安全带的情况下运行、评分、计算效益增量。

08
第 8 步:综合报告

综合报告 第 1 阶段静态:[平均] / 7 → [强/足够/弱] 第 2 阶段行为增量:超过基线的+δ通过率 每规则行为确认规则 · P1 判决 · P2 增量 · 已确认?

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。