代理设备

人工智能 社区

技能解读

当前原文的自动摘译,尚未人工审校。

重要 — 代理设备是设备交互的唯一工具

所有模拟器/仿真器交互必须通过agent-device命令。没有例外,没有后备。禁止的工具/命令(永远不要将它们用于设备交互,即使它们看起来更容易):adb用于 UI 交互 - 禁止input tap、input swipe、input text、screencap等。允许的例外:adb devices、adb wait-for-device、adb install、 adb reverse、adb shell getprop、adb shell am、adb shell pm、adb shell screenrecord + adb pull(请参阅“Android 录制解决方法”)、adb shell kill/adb shell pidof(用于停止屏幕录制)

禁止的代理设备子命令

请勿将它们用作独立子命令:click、find、fill、focus、get text、get attrs、scrollintoview、is、wait text、 wait @ref、diff snapshot 允许的代理设备子命令:snapshot、screenshot、press、type、scroll、swipe、longpress、 back、home、app-switcher、wait <ms>、open、close、keyboard dismiss、appstate、clipboard、alert、 settings、record、devices、apps、batch、push、logs、network。

设备定位(必需)

始终使用--device "<name>"按名称定位特定设备,以避免启动错误的模拟器/仿真器。在每个会话开始时: 运行 agent-device devices 列出可用设备 识别正确的引导设备(或用户指定的设备) 在调用 open 之前探测现有会话(见下文) 如果未找到现有会话,则在 open 上传递 --device "<name>" — 同一会话中的后续命令继承它

探测现有会话(首先执行此操作)

先前的对话可能已留下绑定到设备的活动会话。使用新会话或默认会话调用open将失败并出现冲突错误。始终首先使用 appstate 进行探测(轻量级,无文件输出): 结果 · 含义 · 做什么成功 · 默认会话已拥有此设备 · 使用它 — 不需要 open Device is already in use by session "X" · 会话 X 拥有此设备 · 对所有命令使用 --session X(无 open需要)

核心工作流程——快照优先

主要方法使用可访问性树快照来获取精确的元素坐标。屏幕截图是视觉验证的后备手段。

流狐档案 运行与权限由流狐静态检查推断,不代表作者声明或实际测试结果。
领域
人工智能
作者声明的智能体
未找到明确声明;不据此推断已兼容或已测试
静态检查
88 / 100 · 启发式扫描,不代表运行安全
运行环境证据
未执行;当前没有隔离运行测试证据
作者 / 版本 / 许可证
@Shopify · 未声明许可证
上下文用量评级
中等消耗
接入复杂程度
需简单配置
是否需要外部接口密钥
不需要
兼容的系统
未声明(默认跨平台)
运行环境要求
未检出明确要求
检测到的文件与系统行为
  • 只读
  • 允许写入 / 修改
  • 命令执行
网络行为
仅限本地
安装命令数
无(仅作为资料)

需要注意: 未声明工具权限范围;实际权限由运行环境决定。

输出预览 agent-device.preview
# Step 1 (separate Bash call): Start recording
agent-device record start /tmp/loading-evidence.mov

# Step 2 (separate Bash call): Wait for recording to initialize, perform action, wait for completion
sleep 3 && agent-device swipe $X_MID $Y_35PCT $X_MID $Y_75PCT 500 && sleep 5

# Step 3 (separate Bash call): Stop recording
agent-device record stop

讨论

基于 GitHub Discussions。登录 GitHub 即可参与讨论、点赞、订阅更新。