Hohoo 的 AI 学习之旅

虚拟具身实验室

不用真实机器人,也能开始具身智能实验。先建立可验证的软件链路,再逐步探索仿真、数据与策略。

VL01

MuJoCo 抓取与放置

计划中
仿真引擎
MuJoCo
机器人对象
虚拟机械臂与夹爪;型号待实验选定
实验环境
桌面、红色方块、蓝色盒子;场景待搭建
关联主项目
hohoo-embodied-agent
关联里程碑

要验证的问题

能否把红色方块从初始位置移动到蓝色盒子,并记录每一步控制和失败原因?

实验步骤(计划)

  1. 定位方块
  2. 移动末端
  3. 抓取
  4. 移动
  5. 放置
技术与技能
  • Joint
  • Link
  • DOF
  • Pose
  • Coordinate Frame
  • Joint Space
  • Cartesian Space
  • FK
  • IK
  • Trajectory
  • Gripper
  • Controller

VL02

ROS2 与 Gazebo 机器人系统

计划中
仿真引擎
Gazebo + ROS2
机器人对象
虚拟机器人;底盘或机械臂待选定
实验环境
虚拟相机、IMU、LiDAR 与关节状态;配置待验证
关联主项目
hohoo-embodied-agent
关联里程碑

要验证的问题

能否让虚拟传感器通过 ROS2 发布观测,并连接感知、规划和控制节点?

实验步骤(计划)

  1. 虚拟传感器
  2. ROS2
  3. 感知节点
  4. 规划节点
  5. 控制器
  6. 虚拟机器人
技术与技能
  • Node
  • Topic
  • Publisher
  • Subscriber
  • Service
  • Action
  • Message
  • Parameter
  • Launch
  • rosbag2
  • TF2
  • URDF

VL03

ManiSkill 机器人学习

计划中
仿真引擎
ManiSkill
机器人对象
虚拟操作机械臂;模型待选定
实验环境
以 PickCube、抓取与放置任务为候选;尚未运行
关联主项目
hohoo-embodied-agent
关联里程碑

要验证的问题

能否从机器人数据学习操作策略,并在虚拟任务中评估动作与失败情况?

实验步骤(计划)

  1. 观测
  2. 策略
  3. 行动
  4. 环境
技术与技能
  • PyTorch
  • Behavior Cloning
  • Imitation Learning
  • ACT
  • Diffusion Policy
  • RL
  • Policy Evaluation
  • VLA Evaluation

VL04

Isaac 物理 AI 实验

未来阶段
仿真引擎
Isaac Sim / Isaac Lab
机器人对象
机械臂、移动机器人或人形机器人;仅为候选方向
实验环境
Isaac Sim / Isaac Lab;尚未安装,硬件与算力待评估
关联主项目
hohoo-embodied-agent
关联里程碑

要验证的问题

后续研究合成数据、并行仿真与领域随机化,评估策略跨环境迁移的边界。

实验步骤(计划)

  1. 合成数据
  2. 并行仿真
  3. 领域随机化
  4. 迁移评估
技术与技能
  • Isaac Sim
  • Isaac Lab
  • 合成数据
  • GPU 并行仿真
  • 领域随机化
  • Sim2Real

真实硬件只属于后期验证,不是当前学习前置条件。

之后,再走向真实世界