VLA 采训推

面向先采集运动数据(VR 或仿真)、再训练并部署 VLA 类策略的团队。本页是 采集与栈 路径。训练和策略推理服务尚未成文。

1. Collect with VR teleop

  1. 从部署到真实机器人或运行 Mock 演示拉起机器人(mock、仿真或真机)。

  2. VR 遥操作 — 在 fa-py-libraries 中执行 ./run.sh vr 或 ./run.sh vr-xrt。

  3. 可选 bag:fa-py-libraries README 列出了针对 /teleop/* 的 ./run.sh vr-record / ./run.sh vr-playback。

Pico 企业版与消费版的说明仍在 VR 操作指南。

2. Whole-body control with waist

这里的全身控制就是 全身控制(full_body.launch.py / Lift 2S 全身),不是单独的仅腰部产品。

  1. 分体控制 vs 全身控制 — split_body.launch.py 与 full_body.launch.py。

  2. 方舟无限 Lift 2S — ./quick_start.sh 菜单选 全身。

  3. ocs2_wbc_controller — 私有子模块;公开加载入口是 full_body.launch.py。话题和状态机取值:开通后见该包 README。

  4. 分体 / Basic Joint Controller 一侧的腰部 关节 命令:Basic Joint Controller(waist_lifting_*、waist_turning_command)。操作指南:使用 Basic Joint Controller。

内部 FA 轮臂人形:开通后见 fa-deploy-ws 配置。

3. Arm force control and load identification

VR 遥操作有两条柔顺路径 — 按机型选择:VR 遥操作 — 力控与柔顺。

  • MIT / 带力控 HI — Panthera HT 与 方舟无限 机械臂:HT control_mode:=mit,方舟无限 full_control + joint_k_gains / joint_d_gains。控制器 MIX:ocs2_arm_controller。

  • 厂商关节阻抗 — 天玑 / 珞石:控制器只发位置;HI ctrl_mode 为 JOINT_IMPEDANCE,见 marvin-ros2-control。

负载辨识只在天玑 / 珞石路径上。公开向导:ros2 run marvin_ros2_control tool_dyn_identify_wizard。内部现场流程:开通后见 fa-deploy-ws 配置 README。

同构 HT 的 mode:=mit / effort 是另一页:同构遥操作。

4. Sim collection (optional)

Isaac USD → 接口 → composer → LeRobot 录制/导出(不是训练):合成数据。

LeRobot 录制与导出 停在磁盘上的数据集。

本文档集尚未覆盖

  • VLA 训练(优化器、数据配比、checkpoint 格式)

  • 机器人上的 VLA 部署 / 推理(策略节点、运行参数)

这些内容落地后应单独写成操作指南。在此之前,用上面的路径采集,训练留在模型所属项目里。