Hohoo 的 AI 學習之旅

虛擬具身實驗室

不用真實機器人,也能開始具身智慧實驗。先建立可驗證的軟體鏈路,再逐步探索模擬、資料與策略。

VL01

MuJoCo 抓取與放置

計畫中
模擬引擎
MuJoCo
機器人對象
虛擬機械臂與夾爪;型號待實驗選定
實驗環境
桌面、紅色方塊、藍色盒子;場景待搭建
關聯主專案
hohoo-embodied-agent
關聯里程碑

要驗證的問題

能否把紅色方塊從初始位置移動到藍色盒子,並記錄每一步控制與失敗原因?

實驗步驟(計畫)

  1. 定位方塊
  2. 移動末端
  3. 抓取
  4. 移動
  5. 放置
技術與技能
  • Joint
  • Link
  • DOF
  • Pose
  • Coordinate Frame
  • Joint Space
  • Cartesian Space
  • FK
  • IK
  • Trajectory
  • Gripper
  • Controller

VL02

ROS2 與 Gazebo 機器人系統

計畫中
模擬引擎
Gazebo + ROS2
機器人對象
虛擬機器人;底盤或機械臂待選定
實驗環境
虛擬相機、IMU、LiDAR 與關節狀態;設定待驗證
關聯主專案
hohoo-embodied-agent
關聯里程碑

要驗證的問題

能否讓虛擬感測器透過 ROS2 發佈觀測,並連接感知、規劃與控制節點?

實驗步驟(計畫)

  1. 虛擬感測器
  2. ROS2
  3. 感知節點
  4. 規劃節點
  5. 控制器
  6. 虛擬機器人
技術與技能
  • Node
  • Topic
  • Publisher
  • Subscriber
  • Service
  • Action
  • Message
  • Parameter
  • Launch
  • rosbag2
  • TF2
  • URDF

VL03

ManiSkill 機器人學習

計畫中
模擬引擎
ManiSkill
機器人對象
虛擬操作機械臂;模型待選定
實驗環境
以 PickCube、抓取與放置任務為候選;尚未運行
關聯主專案
hohoo-embodied-agent
關聯里程碑

要驗證的問題

能否從機器人資料學習操作策略,並在虛擬任務中評估動作與失敗情況?

實驗步驟(計畫)

  1. 觀測
  2. 策略
  3. 行動
  4. 環境
技術與技能
  • PyTorch
  • Behavior Cloning
  • Imitation Learning
  • ACT
  • Diffusion Policy
  • RL
  • Policy Evaluation
  • VLA Evaluation

VL04

Isaac 物理 AI 實驗

未來階段
模擬引擎
Isaac Sim / Isaac Lab
機器人對象
機械臂、移動機器人或人形機器人;僅為候選方向
實驗環境
Isaac Sim / Isaac Lab;尚未安裝,硬體與運算資源待評估
關聯主專案
hohoo-embodied-agent
關聯里程碑

要驗證的問題

後續研究合成資料、平行模擬與領域隨機化,評估策略跨環境遷移的邊界。

實驗步驟(計畫)

  1. 合成資料
  2. 平行模擬
  3. 領域隨機化
  4. 遷移評估
技術與技能
  • Isaac Sim
  • Isaac Lab
  • 合成資料
  • GPU 平行模擬
  • 領域隨機化
  • Sim2Real

真實硬體只屬於後期驗證,不是目前學習的前置條件。

之後,再走向真實世界