评估线束

人工智能 社区

技能解读

当前原文的自动摘译,尚未人工审校。

概述

为该技能提供一个端点(base_url + model + 环境变量中的 API 密钥),它会衡量端点是否真正有效以及模型是否快速、稳定、协议正确且足够好,而不是相信供应商的标题数字。六个维度,通常分散在每次都会被重写(具有相同错误)的临时脚本中:

运行哪些维度

从用户实际正在做的事情出发的路线:“接入新模型/新网关先测一下”/加入提供商→可用性→保真度,然后如果采用看起来可能,则速度/并发“这个ID不能用/写个支持列表”→可用性(并在编写任何“不可用”判决之前阅读规则§9)

快速启动

检测您拥有的内容,然后运行适用的维度。对于 OpenAI 兼容模型:如果端点是 Anthropic-Messages 形状 (/v1/messages),则还运行协议探测(如下)。根据用户实际询问的内容选择维度 - 如果他们只问“速度快吗?”,则不要运行所有六个维度。

维度 0 — 可用性(哪些型号 ID 实际有效)

每个失败的判决是 3 状态,而不是通过/失败:no-channel(此 ID 没有路由)、upstream-error(路由存在,上游失败 - 稍后重试)、empty-content(通常是推理模型上的 max_tokens 工件,而不是损坏的模型)。默认情况下,探测器将 --max-tokens 精确地保持在 8192,这样思维模型就不会被视为已死 — 不要向下“优化”它。

维度 0.5 — 请求保真度(您的有效负载是否达到模型?)

四项检查:system(在系统提示中植入金丝雀代码 - 模型可以回显它吗?)、tools(完整往返,包括返回工具结果并验证最终答案是否使用它)、multiturn(轮流植入事实,回忆全部)、auth(两个协议端点上的 x-api-key 与 Bearer - 网关通常在一条路径上接受两者,并且仅接受两者)一个在另一个上,错误的标头 401 读取完全正确

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
人工智能
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@daymade · 未声明许可证
上下文用量评级
较高消耗
接入复杂程度
需手动接入
是否需要外部接口密钥
需要 · Vendor-specific
兼容的系统
未声明(默认跨平台)
运行环境要求
Python
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
  • 读取环境变量
网络行为
允许外网请求
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

输出预览 llm-eval-harness.preview
export MY_KEY=sk-...                       # the key never appears in a command below

# Speed: real-task throughput + sustained decode ceiling
uv run --with openai python scripts/speed_probe.py \
  --base-url https://api.example.com/v1 --model some-model --key-env MY_KEY --mode both

# Concurrency: ramp until it breaks
uv run --with aiohttp python scripts/concurrency_probe.py \
  --url https://api.example.com/v1/chat/completions --model some-model --key-env MY_KEY \
  --format openai --concurrency 10 20 40 60

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。