提示评估

文档 社区

技能解读

当前原文的自动摘译,尚未人工审校。

概述

此技能提供使用 Promptfoo 配置和运行 LLM 评估的指导,Promptfoo 是一个用于测试和比较 LLM 输出的开源 CLI 工具。

配置结构

一个典型的 Promptfoo 项目结构:

少射击模式

直接在提示中嵌入示例或使用带有辅助消息的聊天格式:

Python 自定义断言

创建自定义断言的 Python 文件(例如,scripts/metrics.py): 要点: 默认函数名称为 get_assert 使用 file://path.py:function_name 指定函数 返回 bool、float(分数)或 dict 以及 pass/score/reason

法学硕士法官(llm-rubric)

使用中继/代理 API 时,每个 llm-rubric 断言都需要其自己的 provider 配置和 apiBaseUrl。否则,评分器会回退到默认的 Anthropic/OpenAI 端点并收到 401 错误: 最佳实践:提供明确的评分标准 使用threshold 设置最低及格分数 默认评分器使用可用的 API 密钥(OpenAI → Anthropic → Google)

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
文档
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@daymade · 未声明许可证
上下文用量评级
低消耗
接入复杂程度
需简单配置
是否需要外部接口密钥
需要 · Anthropic
兼容的系统
macOS · Linux · Windows
运行环境要求
Python
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 读取环境变量
网络行为
允许外网请求
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

输出预览 promptfoo-evaluation.preview
# Initialize a new evaluation project
npx promptfoo@latest init

# Run evaluation
npx promptfoo@latest eval

# View results in browser
npx promptfoo@latest view

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。