前期不购买机器人或专用硬件。按学习阶段选择环境,不要求一次安装四种模拟器;硬件与算力条件在实际实验前单独确认。
- 仿真引擎
- MuJoCo
- 机器人对象
- 虚拟机械臂与夹爪;型号待实验选定
- 实验环境
- 桌面、红色方块、蓝色盒子;场景待搭建
- 关联主项目
- hohoo-embodied-agent →
- 关联里程碑
- M4 · ROS2 → 虚拟机器人M5 · 虚拟抓取与放置
要验证的问题
能否把红色方块从初始位置移动到蓝色盒子,并记录每一步控制和失败原因?
实验步骤(计划)
- 定位方块→
- 移动末端→
- 抓取→
- 移动→
- 放置
技术与技能
尚未执行实验;结果、代码、视频和数据集将在实际验证后补充。
- 仿真引擎
- Gazebo + ROS2
- 机器人对象
- 虚拟机器人;底盘或机械臂待选定
- 实验环境
- 虚拟相机、IMU、LiDAR 与关节状态;配置待验证
- 关联主项目
- hohoo-embodied-agent →
- 关联里程碑
- M3 · Agent 接入 ROS2M4 · ROS2 → 虚拟机器人M8 · 虚拟视觉与 VLM
要验证的问题
能否让虚拟传感器通过 ROS2 发布观测,并连接感知、规划和控制节点?
实验步骤(计划)
- 虚拟传感器→
- ROS2→
- 感知节点→
- 规划节点→
- 控制器→
- 虚拟机器人
技术与技能
尚未执行实验;结果、代码、视频和数据集将在实际验证后补充。
- 仿真引擎
- ManiSkill
- 机器人对象
- 虚拟操作机械臂;模型待选定
- 实验环境
- 以 PickCube、抓取与放置任务为候选;尚未运行
- 关联主项目
- hohoo-embodied-agent →
- 关联里程碑
- M6 · 机器人数据平台M9 · 机器人策略学习M10 · VLA 虚拟机器人
要验证的问题
能否从机器人数据学习操作策略,并在虚拟任务中评估动作与失败情况?
实验步骤(计划)
- 观测→
- 策略→
- 行动→
- 环境
技术与技能
尚未执行实验;结果、代码、视频和数据集将在实际验证后补充。
- 仿真引擎
- Isaac Sim / Isaac Lab
- 机器人对象
- 机械臂、移动机器人或人形机器人;仅为候选方向
- 实验环境
- Isaac Sim / Isaac Lab;尚未安装,硬件与算力待评估
- 关联主项目
- hohoo-embodied-agent →
- 关联里程碑
- M10 · VLA 虚拟机器人
要验证的问题
后续研究合成数据、并行仿真与领域随机化,评估策略跨环境迁移的边界。
仅作为后续路线节点,本轮不安装或集成 Isaac。
实验步骤(计划)
- 合成数据→
- 并行仿真→
- 领域随机化→
- 迁移评估
技术与技能
尚未执行实验;结果、代码、视频和数据集将在实际验证后补充。