强化学习开发先在仿真中训练运动策略，再评估并导出模型，最后适配到真实机器人。对应项目是 LuwuDynamics / luwu_mjlab。
机器人模型→仿真与训练→策略评估→ONNX 导出→实机适配
适用产品与准备
当前参考资料面向 XGO-lite3、XGO-mini2S、XGO-mini2SW。训练使用电脑端 GPU 环境，机器人侧负责部署执行；训练环境按项目 README 的系统、驱动和依赖要求准备。
| 准备项 | 需要确认 |
|---|---|
| 模型资源 | 选择本机型的 MJCF / URDF，核对关节顺序、单位、初始姿态与结构参数。 |
| 训练电脑 | 按仓库说明配置 NVIDIA GPU、驱动、Python 与仿真依赖。 |
| 任务配置 | 核对目标机型和任务，理解观测、动作、奖励、终止条件及随机化设置。 |
| 部署条件 | 确认设备通信、固件支持、关节映射及策略输入输出；仿真可运行不等于已完成实机适配。 |
从仿真到实机的六个环节
- 载入模型：检查机器人模型能在仿真中正确显示，关节方向与初始姿态一致。
- 定义任务：确定速度等目标，配置观测空间、动作空间、奖励和终止条件。
- 训练策略：按项目配置运行 PPO，记录实验配置、训练日志和检查点。
- 评估策略：检查行走、转向及扰动下的表现，确认没有明显异常动作。
- 导出模型：导出 ONNX，并核对关节名称、动作缩放、默认姿态和观测顺序等元数据。
- 适配与验证：按部署文档完成真实设备映射、通信与控制周期检查，再进行受控的分步验证。
阅读顺序
| 阶段 | 建议阅读 |
|---|---|
| 建立环境 | 项目 README → 安装要求 → 模型资源。 |
| 理解训练 | MDP 与任务结构 → 观测/动作 → 奖励 → PPO 参数。 |
| 准备部署 | 模型导出 → 部署层结构 → 配置工厂 → 实机控制循环。 |
| 定位问题 | 先核对机型、关节与单位，再看依赖版本、日志和通信数据。 |
资料入口
- luwu_mjlab 官方仓库：安装、模型和任务配置。
- 仓库中文说明：按当前项目版本准备环境。
- 强化学习完整参考文档（英文）：PPO、奖励设计、训练调参、ONNX 导出及部署说明。
- URDF、MJCF 与仿真模型：下载相应产品的模型。
- ROS 2 开发入口：了解节点通信与系统集成。
本页介绍运动策略的开发路线；开发篇第六章：AI 模型替换 讲解视觉、语音等应用模型，两者分别按各自的输入输出和部署接口处理。