基准模型

其他 社区 v1.0.0

技能解读

benchmark-models 让多个 LLM 模型同时回答同一个问题,输出对比表——比成本、比质量、比速度。

设计思路

作者把「选模型」做成可量化的事:你给 5 个 prompt 模板和 5 个候选模型,技能帮你跑 5×5 矩阵,每格都给出回答 + 耗时 + token 消耗。看完这张表就知道应该用哪个模型。

Step 0: Locate the binary

SKILL.md 里 Step 0 章节说得很具体:先找 benchmark 工具的二进制位置——可能在系统 PATH,可能在 gstack 仓库里需要先 ./setup。这一步是 BLOCKING 的,没找到不允许继续。

Plan Mode 行为

和 benchmark 类似,plan mode 下只允许只读操作(不实际调用模型 API);正式执行阶段才会真的调 API、产生 token 费用。

输出

默认输出表格,列:

  • 模型名(gpt-5、claude-sonnet-4-6、gemini-pro 等)
  • prompt id
  • 回答(截断或完整)
  • token in / out
  • 耗时
  • 自动评分(如果配了 evaluator)

Voice

和 benchmark 一样,必须用客观语气——不会给某个模型「赢家」标签,让你自己看数字判断。

Operational Self-Improvement

每跑一次 benchmark,结果会回写进 ~/.gstack/,下次跑同一组 prompt 时可以做 diff(这次 vs 上次)。这对追踪模型升级(claude 4.6 → 4.7 之后效果变好还是变差)特别有用。

Telemetry

跑完会自动 telemetry,让 gstack-openclaw-retro 知道你这周做了哪些模型选型工作。

适合谁

  • 决定「我们项目用哪个模型」的工程负责人
  • 模型新版本发布后做回归对比
  • 给业务方算模型成本(同样质量下哪家更便宜)
  • 写技术博客 / 评测的人

不适合

  • 单次问问题——直接调一家模型就够
  • 主观体验对比(哪家「感觉」更聪明)——基准跑不出主观感受

配套

和 benchmark(系统性能)、gstack-openclaw-retro(数据消费)形成测量链路。

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
通用
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
92 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@garrytan · v1.0.0 · 未声明许可证
上下文用量评级
较高消耗
接入复杂程度
需手动接入
是否需要外部接口密钥
需要 · Anthropic / Google
兼容的系统
macOS · Linux · Windows
运行环境要求
Bun
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
网络行为
允许外网请求
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

01
第 0 步:找到二进制文件

如果没有找到,则停止并告诉用户重新安装 gstack。

02
第 1 步:选择提示

使用 AskUserQuestion 的序言格式:重新接地:当前项目 + 分支。简化:“跨模型基准测试通过 2-3 个 AI 模型运行相同的提示,并向您展示它们在速度、成本和输出质量方面的比较。我们应该使用什么提示?”建议:A 因为针对真实技能的基准测试会暴露工具使用的差异,而不仅仅是原始生成的差异。选项:

03
第 2 步:选择提供商

显示空运行输出。 “适配器可用性”部分告诉用户哪些提供程序将实际运行(正常)与跳过(未就绪 - 包括修复提示)。如果所有三个都显示未就绪:停止并发出明确的消息 - 基准测试无法在没有至少一个经过验证的提供商的情况下运行。建议使用`claude login`、`codex login`或`gemini login` / `export GOOGLE_API_KEY`。如果至少有一个是可以的:询问用户问题:

04
第三步:决定法官

如果有法官,请询问用户问题:简化:“质量法官使用 Anthropic 的 Claude 作为决胜局,对每个模型的输出进行 0-10 分的评分。每次运行增加约 0.05 美元。如果您关心输出质量,而不仅仅是延迟和成本,则推荐使用。”建议:A — 重点是比较质量,而不仅仅是速度。选项:A) 启用判断(增加 ~$0.05)。完整性:10/10。

05
第 4 步:运行基准测试

根据步骤 1、2、3 的决策构建命令:其中 `<prompt-spec>` 是 `--prompt "<text>"`(步骤 1B)、文件路径(步骤 1A 或 1C),`<picked-models>` 是步骤 2 中的逗号分隔列表。输出到达时对其进行流式传输。这很慢——每个提供商都完全运行提示。预计需要 30 秒到 5 分钟,具体取决于提示复杂性以及`--judge` 是否打开。

06
第 5 步:解释结果

打印表格后,为用户总结:最快 - 延迟最低的提供商。最便宜——成本最低的提供商。最高质量(如果运行了`--judge`)——得分最高的提供商。总体最佳——运用判断力。如果法官运行:质量加权。否则:请注意用户需要做出的权衡。

07
第 6 步:提出保存结果

AskUserQuestion:简化:“将此基准保存为 JSON,以便您可以将未来的运行与它进行比较?”建议:A — 随着提供商更新其模型,技能表现会发生变化;保存的基线捕获质量回归。选项:A) 保存到`~/.gstack/benchmarks/<date>-<skill-or-prompt-slug>.json`。完整性:10/10。

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。