火车

人工智能 社区

技能解读

当前原文的自动摘译,尚未人工审校。

可用环境

名称 · 描述 cartpole · Cartpole 摆动(最简单,适合测试) h1 · Unitree H1 站立任务 jvrc_walk · JVRC 人形基本行走 jvrc_step · JVRC 人形行走,有计划的脚步

超参数(默认)

标志 · 默认 · 描述 --n-itr · 20000 · 训练迭代 --lr · 1e-4 · 学习率 --gamma · 0.99 · 折扣因子 --std-dev · 0.223 · 动作噪声

使用说明

根据用户的请求确定环境名称。如果有歧义,请询问。使用--logdir /tmp/training_runs,除非用户指定不同的路径。仅包含与默认值不同的标志 - 保持命令干净。向用户显示您将要运行的完整命令。在 Bash 工具上使用 run_in_background: true 在后台运行命令。设置足够长的超时(600000 毫秒)。

Cartpole 特定的默认值

对于 cartpole,这些设置与当前默认值 (--lr 3e-4 --max-grad-norm 0.5 --lam 0.95 --gamma 0.99) 配合良好: --minibatch-size 256 --std-dev 0.15 --learn-std --entropy-coeff 0.01 --max-traj-len 500 --n-itr 500 --num-procs 12

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
人工智能
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
94 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@rohanpsingh · BSD-2-Clause
上下文用量评级
低消耗
接入复杂程度
即装即用
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
Python
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

作者说明文件(原文) SKILL.md

# /train — Launch a PPO Training Run

Parse the user's request from `$ARGUMENTS` and construct a training command.

## Command Template

```
RAY_ADDRESS= uv run python run_experiment.py train --env <ENV> --logdir <LOGDIR> [OPTIONS...]
```

## Available Environments

| Name | Description |
|------|-------------|
| `cartpole` | Cartpole swing-up (simplest, good for testing) |
| `h1` | Unitree H1 standing task |
| `jvrc_walk` | JVRC humanoid basic walking |
| `jvrc_step` | JVRC humanoid stepping with planned footsteps |

## Hyperparameters (defaults)

| Flag | Default | Description |
|------|---------|-------------|
| `--n-itr` | 20000 | Training iterations |
| `--lr` | 1e-4 | Learning rate |
| `--gamma` | 0.99 | Discount factor |
| `--std-dev` | 0.223 | Action noise |
| `--learn-std` | off | Learn action noise (flag) |
| `--entropy-coeff` | 0.0 | Entropy regularization |
| `--clip` | 0.2 | PPO clipping |
| `--minibatch-size` | 64 | Minibatch size |
| `--epochs` | 3 | Optimization epochs per update |
| `--num-procs` | 12 | Parallel workers |
| `--num-envs-per-worker` | 1 | Vectorized envs per worker |
| `--max-grad-norm` | 0.05 | Gradient clipping |
| `--max-traj-len` | 400 | Episode horizon |
| `--eval-freq` | 100 | Eval every N iterations |
| `--seed` | None | Random seed |
| `--device` | auto | Training device (auto/cpu/cuda) |
| `--no-mirror` | off | Disable symmetry wrapper (flag) |
| `--recurrent` | off | Use LSTM policy (flag) |
| `--continued` | None | Path to pretrained weights |

## Instructions

1. Determine the environment name from the user's request. If ambiguous, ask.
2. Use `--logdir /tmp/training_runs` unless the user specifies a different path.
3. Only include flags that differ from defaults — keep the command clean.
4. Show the user the full command you're about to run.
5. Run the command in the background using `run_in_background: true` on the Bash tool. Set a generous timeout (600000ms).
6. After launching, tell the user the logdir path and how to check progress (you can tail the output using the task ID).
7. If the user asks to check on training, use `TaskOutput` with `block: false` to check the latest output.

## Cartpole-Specific Defaults

For cartpole, these settings are known to work well with the current defaults
(`--lr 3e-4 --max-grad-norm 0.5 --lam 0.95 --gamma 0.99`):
- `--minibatch-size 256`
- `--std-dev 0.15 --learn-std --entropy-coeff 0.01`
- `--max-traj-len 500 --n-itr 500 --num-procs 12`
- `--no-mirror` (cartpole has no body symmetry)

Suggest these defaults when the user trains cartpole, but let them override.

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。