技能台

人工智能 社区

技能解读

当前原文的自动摘译,尚未人工审校。

官方资源

GitHub:https://github.com/benchflow-ai/skillsbench BenchFlow SDK:https://github.com/benchflow-ai/benchflow

任务要求

人们实际执行的现实工作流程 使用技能比没有指令明显更容易。md、solve.sh 和 task.toml 必须由人工编写 确定性、基于结果的验证 技能必须是可推广和可重用的

参考文献

完整指南:CONTRIBUTING.md 任务质量评分标准:任务审核技能(工作流程 + 政策/实施评分标准) 查找任务:CONTRIBUTING.md#finding-good-task-ideas

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
人工智能
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@benchflow-ai · 未声明许可证
上下文用量评级
低消耗
接入复杂程度
即装即用
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
未检出明确要求
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

作者说明文件(原文) SKILL.md

# SkillsBench

Benchmark evaluating how well AI agents use skills.

## Official Resources

- **GitHub**: https://github.com/benchflow-ai/skillsbench
- **BenchFlow SDK**: https://github.com/benchflow-ai/benchflow

## Quick Workflow

```bash
# 1. Install and initialize a task
pip install 'benchflow>=0.3.0a7'
bench tasks init <task-name>

# 2. Write files (see CONTRIBUTING.md for templates)

# 3. Validate
bench tasks check tasks/my-task
bench eval create -t tasks/my-task -a oracle  # Must pass 100%

# 4. Test with agent (with skills)
bench eval create -t tasks/my-task -a claude-agent-acp -s tasks/my-task/environment/skills/

# 5. Test WITHOUT skills (omit -s)
bench eval create -t tasks/my-task -a claude-agent-acp

# 6. Submit PR (see PR template)
```

## Task Requirements

- Realistic workflows people actually do
- Measurably easier with skills than without
- instruction.md, solve.sh, and task.toml must be human-authored
- Deterministic, outcome-based verification
- Skills must be generalizable and reusable

## References

- Full guide: [CONTRIBUTING.md](../../../../CONTRIBUTING.md)
- Task quality rubric: [task-review skill](../task-review/) (workflow + policy/implementation rubrics)
- Finding tasks: [CONTRIBUTING.md#finding-good-task-ideas](../../../../CONTRIBUTING.md#finding-good-task-ideas)

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。