三條主線，一條實作路徑

路線圖

計畫投入比重，非完成進度

模擬優先，從虛擬世界開始

前期不購買機器人或專用硬體。依學習階段選擇環境，不要求一次安裝四種模擬器；硬體與運算資源在實際實驗前個別確認。

1. VL01

   MuJoCo →○ 計畫中

2. VL02

   Gazebo + ROS2 →○ 計畫中

3. VL03

   ManiSkill →○ 計畫中

4. VL04

   Isaac Sim / Isaac Lab →○ 未來階段

里程碑

• ○ 未開始
• ◐ 學習中
• ◇ 實作中
• ✓ 已完成

1. M1自然語言 → 機器人任務○ 未開始

   AI 應用工程

   驗證目標

   把「紅色方塊放進藍色盒子」轉成結構化任務，驗證 JSON Schema、動作與參數，拒絕無效任務。

   相依項目

   從這裡開始

   知識與工具

   • LLM API
   • Prompt
   • System Prompt
   • Streaming
   • Structured Output
   • JSON Schema

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   已有基礎參考 · Java 8 呼叫大型語言模型：從第一次請求到多輪對話 →

   下一階段

   M2 · 機器人 Agent 與模擬工具
2. M2機器人 Agent 與模擬工具○ 未開始

   AI 應用工程

   驗證目標

   用模擬工具驗證 Agent Loop，記錄呼叫、工具失敗與停止條件；此階段不控制真實機器人。

   相依項目

   M1 · 自然語言 → 機器人任務

   知識與工具

   • Tool Calling
   • Agent Loop
   • get_scene
   • find_object
   • move_to
   • grasp
   • place
   • get_robot_state

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M3 · Agent 接入 ROS2
3. M3Agent 接入 ROS2○ 未開始

   AI 應用工程 / 具身智慧與機器人

   驗證目標

   逐步將 Python 模擬工具替換為 ROS2 工具或機器人橋接層，驗證呼叫、回饋與取消。

   相依項目

   M2 · 機器人 Agent 與模擬工具

   知識與工具

   • Linux
   • Python
   • C++17
   • CMake
   • GDB
   • Docker
   • ROS2
   • Node
   • Topic
   • Service
   • Action
   • Launch

   虛擬實驗室

   VL02 · ROS2 與 Gazebo 機器人系統 →

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M4 · ROS2 → 虛擬機器人
4. M4ROS2 → 虛擬機器人○ 未開始

   具身智慧與機器人

   驗證目標

   優先連接 MuJoCo，之後依需求加入 Gazebo，驗證 Agent → ROS2 → 虛擬機器人的控制與觀測鏈路。

   相依項目

   M3 · Agent 接入 ROS2

   知識與工具

   • MuJoCo
   • Gazebo
   • ROS2
   • Robot Bridge

   虛擬實驗室

   VL01 · MuJoCo 抓取與放置 →VL02 · ROS2 與 Gazebo 機器人系統 →

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M5 · 虛擬抓取與放置
5. M5虛擬抓取與放置○ 未開始

   具身智慧與機器人

   驗證目標

   在 MuJoCo 中用虛擬機械臂把紅色方塊放進藍色盒子，記錄軌跡、控制與失敗情況。

   相依項目

   M4 · ROS2 → 虛擬機器人

   知識與工具

   • Joint
   • Link
   • DOF
   • Pose
   • Coordinate Frame
   • Joint Space
   • Cartesian Space
   • FK
   • IK
   • Jacobian
   • Trajectory
   • Controller

   虛擬實驗室

   VL01 · MuJoCo 抓取與放置 →

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M6 · 機器人資料平台
6. M6機器人資料平台○ 未開始

   具身智慧與機器人

   驗證目標

   採集 RGB、機器人與關節狀態、動作、時間戳記、任務與成功標記；建立 Episode，驗證同步、編碼、儲存與資料品質。

   相依項目

   M5 · 虛擬抓取與放置

   知識與工具

   • Observation
   • Action
   • State
   • Frame
   • Episode
   • Trajectory
   • Dataset
   • Timestamp
   • FFmpeg
   • MP4
   • Parquet
   • PyArrow
   • MCAP
   • 物件儲存
   • 資料品質
   • LeRobot Dataset

   虛擬實驗室

   VL03 · ManiSkill 機器人學習 →

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M7 · 機器人知識助手
7. M7機器人知識助手○ 未開始

   AI 應用工程 / LLM 與多模態 / 具身智慧與機器人

   驗證目標

   從機器人手冊、ROS2 文件、錯誤碼與操作紀錄檢索依據，輔助診斷並顯示來源；測試無依據的問題。

   相依項目

   M2 · 機器人 Agent 與模擬工具M6 · 機器人資料平台

   知識與工具

   • Embedding
   • RAG
   • Vector Database
   • Agent Memory
   • Context Engineering
   • Evaluation
   • Observability

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M8 · 虛擬視覺與 VLM
8. M8虛擬視覺與 VLM○ 未開始

   LLM 與多模態 / 具身智慧與機器人

   驗證目標

   從人工提供場景 JSON 演進到虛擬相機 RGB / Depth 輸入，對照實際場景設定驗證視覺判斷，並記錄限制。

   相依項目

   M6 · 機器人資料平台

   知識與工具

   • 相機
   • RGB
   • Depth
   • Tokenizer
   • Token
   • Transformer
   • Self Attention
   • Context Window
   • Inference
   • Multimodal
   • Vision Encoder
   • VLM

   虛擬實驗室

   VL02 · ROS2 與 Gazebo 機器人系統 →

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M9 · 機器人策略學習
9. M9機器人策略學習○ 未開始

   具身智慧與機器人

   驗證目標

   用機器人資料、LeRobot、PyTorch 與 ACT 訓練或重現策略，記錄動作區塊在虛擬機器人中的執行與評估。

   相依項目

   M6 · 機器人資料平台M8 · 虛擬視覺與 VLM

   知識與工具

   • PyTorch
   • Behavior Cloning
   • Imitation Learning
   • LeRobot
   • ACT
   • ManiSkill
   • Diffusion Policy

   虛擬實驗室

   VL03 · ManiSkill 機器人學習 →

   尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

   下一階段

   M10 · VLA 虛擬機器人
10. M10VLA 虛擬機器人○ 未開始

    AI 應用工程 / LLM 與多模態 / 具身智慧與機器人

    驗證目標

    在條件允許時選擇 SmolVLA 或適合的輕量 VLA，將視覺、語言與機器人狀態映射為動作；先在虛擬環境中驗證。

    相依項目

    M7 · 機器人知識助手M8 · 虛擬視覺與 VLMM9 · 機器人策略學習

    知識與工具

    • RT-1
    • RT-2
    • Octo
    • OpenVLA
    • SmolVLA
    • π0
    • π0.5
    • GR00T
    • VLA

    虛擬實驗室

    VL03 · ManiSkill 機器人學習 →VL04 · Isaac 物理 AI 實驗 →

    尚無實作紀錄；完成驗證後補充程式碼、問題與結果。

建議節奏

8 週是可調整的學習安排，不是完成承諾；尚未設定開始日期。

1. 第 1 週
   M1 · 自然語言 → 機器人任務M2 · 機器人 Agent 與模擬工具

   Python · LLM API · Prompt · System Prompt · Streaming · Structured Output · JSON Schema · Tool Calling · Agent Loop · get_scene · find_object · move_to · grasp · place · get_robot_state
2. 第 2 週
   M3 · Agent 接入 ROS2

   Linux · Python · C++17 · CMake · GDB · Docker · ROS2 · Node · Topic · Service · Action · Launch
3. 第 3 週
   M4 · ROS2 → 虛擬機器人M5 · 虛擬抓取與放置

   MuJoCo · Gazebo · ROS2 · Robot Bridge · Joint · Link · DOF · Pose · Coordinate Frame · Joint Space · Cartesian Space · FK · IK · Jacobian · Trajectory · Controller

   VL01 · MuJoCo 抓取與放置 →
4. 第 4 週
   M6 · 機器人資料平台

   Observation · Action · State · Frame · Episode · Trajectory · Dataset · Timestamp · FFmpeg · MP4 · Parquet · PyArrow · MCAP · 物件儲存 · 資料品質 · LeRobot Dataset
5. 第 5 週
   M7 · 機器人知識助手

   Embedding · RAG · Vector Database · Agent Memory · Context Engineering · Evaluation · Observability
6. 第 6 週
   M8 · 虛擬視覺與 VLM

   相機 · RGB · Depth · Tokenizer · Token · Transformer · Self Attention · Context Window · Inference · Multimodal · Vision Encoder · VLM

   VL02 · ROS2 與 Gazebo 機器人系統 →
7. 第 7 週
   M9 · 機器人策略學習

   PyTorch · Behavior Cloning · Imitation Learning · LeRobot · ACT · ManiSkill · Diffusion Policy

   VL03 · ManiSkill 機器人學習 →
8. 第 8 週
   M10 · VLA 虛擬機器人

   RT-1 · RT-2 · Octo · OpenVLA · SmolVLA · π0 · π0.5 · GR00T · VLA

已有基礎參考

這篇已發佈教學可複習請求、回應解析與對話歷史；它不代表機器人任務里程碑已完成。