三条主线，一条实践路径

路线图

计划投入比重，非完成进度

仿真优先，从虚拟世界开始

前期不购买机器人或专用硬件。按学习阶段选择环境，不要求一次安装四种模拟器；硬件与算力条件在实际实验前单独确认。

1. VL01

   MuJoCo →○ 计划中

2. VL02

   Gazebo + ROS2 →○ 计划中

3. VL03

   ManiSkill →○ 计划中

4. VL04

   Isaac Sim / Isaac Lab →○ 未来阶段

里程碑

• ○ 未开始
• ◐ 学习中
• ◇ 实践中
• ✓ 已完成

1. M1自然语言 → 机器人任务○ 未开始

   AI 应用工程

   验证目标

   把“红色方块放进蓝色盒子”转成结构化任务，校验 JSON Schema、动作与参数，拒绝无效任务。

   依赖

   从这里开始

   知识与工具

   • LLM API
   • Prompt
   • System Prompt
   • Streaming
   • Structured Output
   • JSON Schema

   尚无实践记录；完成验证后补充代码、问题与结果。

   已有基础参考 · Java 8 调用大语言模型：从第一次请求到多轮对话 →

   下一阶段

   M2 · 机器人 Agent 与模拟工具
2. M2机器人 Agent 与模拟工具○ 未开始

   AI 应用工程

   验证目标

   用模拟工具验证 Agent Loop，记录调用、工具失败和停止条件；此阶段不控制真实机器人。

   依赖

   M1 · 自然语言 → 机器人任务

   知识与工具

   • Tool Calling
   • Agent Loop
   • get_scene
   • find_object
   • move_to
   • grasp
   • place
   • get_robot_state

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M3 · Agent 接入 ROS2
3. M3Agent 接入 ROS2○ 未开始

   AI 应用工程 / 具身智能与机器人

   验证目标

   逐步把 Python 模拟工具替换为 ROS2 工具或机器人桥接层，验证调用、反馈与取消。

   依赖

   M2 · 机器人 Agent 与模拟工具

   知识与工具

   • Linux
   • Python
   • C++17
   • CMake
   • GDB
   • Docker
   • ROS2
   • Node
   • Topic
   • Service
   • Action
   • Launch

   虚拟实验室

   VL02 · ROS2 与 Gazebo 机器人系统 →

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M4 · ROS2 → 虚拟机器人
4. M4ROS2 → 虚拟机器人○ 未开始

   具身智能与机器人

   验证目标

   优先连接 MuJoCo，之后按需加入 Gazebo，验证 Agent → ROS2 → 虚拟机器人的控制与观测链路。

   依赖

   M3 · Agent 接入 ROS2

   知识与工具

   • MuJoCo
   • Gazebo
   • ROS2
   • Robot Bridge

   虚拟实验室

   VL01 · MuJoCo 抓取与放置 →VL02 · ROS2 与 Gazebo 机器人系统 →

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M5 · 虚拟抓取与放置
5. M5虚拟抓取与放置○ 未开始

   具身智能与机器人

   验证目标

   在 MuJoCo 中用虚拟机械臂把红色方块放进蓝色盒子，记录轨迹、控制与失败情况。

   依赖

   M4 · ROS2 → 虚拟机器人

   知识与工具

   • Joint
   • Link
   • DOF
   • Pose
   • Coordinate Frame
   • Joint Space
   • Cartesian Space
   • FK
   • IK
   • Jacobian
   • Trajectory
   • Controller

   虚拟实验室

   VL01 · MuJoCo 抓取与放置 →

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M6 · 机器人数据平台
6. M6机器人数据平台○ 未开始

   具身智能与机器人

   验证目标

   采集 RGB、机器人与关节状态、动作、时间戳、任务与成功标记；构建 Episode，验证同步、编码、存储和数据质量。

   依赖

   M5 · 虚拟抓取与放置

   知识与工具

   • Observation
   • Action
   • State
   • Frame
   • Episode
   • Trajectory
   • Dataset
   • Timestamp
   • FFmpeg
   • MP4
   • Parquet
   • PyArrow
   • MCAP
   • 对象存储
   • 数据质量
   • LeRobot Dataset

   虚拟实验室

   VL03 · ManiSkill 机器人学习 →

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M7 · 机器人知识助手
7. M7机器人知识助手○ 未开始

   AI 应用工程 / LLM 与多模态 / 具身智能与机器人

   验证目标

   从机器人手册、ROS2 文档、错误码与操作记录检索依据，辅助诊断并展示来源；测试无依据的问题。

   依赖

   M2 · 机器人 Agent 与模拟工具M6 · 机器人数据平台

   知识与工具

   • Embedding
   • RAG
   • Vector Database
   • Agent Memory
   • Context Engineering
   • Evaluation
   • Observability

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M8 · 虚拟视觉与 VLM
8. M8虚拟视觉与 VLM○ 未开始

   LLM 与多模态 / 具身智能与机器人

   验证目标

   从人工提供场景 JSON 演进到虚拟相机 RGB / Depth 输入，对照真实场景配置验证视觉判断，并记录局限。

   依赖

   M6 · 机器人数据平台

   知识与工具

   • 相机
   • RGB
   • Depth
   • Tokenizer
   • Token
   • Transformer
   • Self Attention
   • Context Window
   • Inference
   • Multimodal
   • Vision Encoder
   • VLM

   虚拟实验室

   VL02 · ROS2 与 Gazebo 机器人系统 →

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M9 · 机器人策略学习
9. M9机器人策略学习○ 未开始

   具身智能与机器人

   验证目标

   用机器人数据、LeRobot、PyTorch 与 ACT 训练或复现策略，记录动作分块在虚拟机器人中的执行与评估。

   依赖

   M6 · 机器人数据平台M8 · 虚拟视觉与 VLM

   知识与工具

   • PyTorch
   • Behavior Cloning
   • Imitation Learning
   • LeRobot
   • ACT
   • ManiSkill
   • Diffusion Policy

   虚拟实验室

   VL03 · ManiSkill 机器人学习 →

   尚无实践记录；完成验证后补充代码、问题与结果。

   下一阶段

   M10 · VLA 虚拟机器人
10. M10VLA 虚拟机器人○ 未开始

    AI 应用工程 / LLM 与多模态 / 具身智能与机器人

    验证目标

    在条件允许时选择 SmolVLA 或适合的轻量 VLA，将视觉、语言与机器人状态映射为动作；先在虚拟环境中验证。

    依赖

    M7 · 机器人知识助手M8 · 虚拟视觉与 VLMM9 · 机器人策略学习

    知识与工具

    • RT-1
    • RT-2
    • Octo
    • OpenVLA
    • SmolVLA
    • π0
    • π0.5
    • GR00T
    • VLA

    虚拟实验室

    VL03 · ManiSkill 机器人学习 →VL04 · Isaac 物理 AI 实验 →

    尚无实践记录；完成验证后补充代码、问题与结果。

建议节奏

8 周是可调整的学习安排，不是完成承诺；尚未设置开始日期。

1. 第 1 周
   M1 · 自然语言 → 机器人任务M2 · 机器人 Agent 与模拟工具

   Python · LLM API · Prompt · System Prompt · Streaming · Structured Output · JSON Schema · Tool Calling · Agent Loop · get_scene · find_object · move_to · grasp · place · get_robot_state
2. 第 2 周
   M3 · Agent 接入 ROS2

   Linux · Python · C++17 · CMake · GDB · Docker · ROS2 · Node · Topic · Service · Action · Launch
3. 第 3 周
   M4 · ROS2 → 虚拟机器人M5 · 虚拟抓取与放置

   MuJoCo · Gazebo · ROS2 · Robot Bridge · Joint · Link · DOF · Pose · Coordinate Frame · Joint Space · Cartesian Space · FK · IK · Jacobian · Trajectory · Controller

   VL01 · MuJoCo 抓取与放置 →
4. 第 4 周
   M6 · 机器人数据平台

   Observation · Action · State · Frame · Episode · Trajectory · Dataset · Timestamp · FFmpeg · MP4 · Parquet · PyArrow · MCAP · 对象存储 · 数据质量 · LeRobot Dataset
5. 第 5 周
   M7 · 机器人知识助手

   Embedding · RAG · Vector Database · Agent Memory · Context Engineering · Evaluation · Observability
6. 第 6 周
   M8 · 虚拟视觉与 VLM

   相机 · RGB · Depth · Tokenizer · Token · Transformer · Self Attention · Context Window · Inference · Multimodal · Vision Encoder · VLM

   VL02 · ROS2 与 Gazebo 机器人系统 →
7. 第 7 周
   M9 · 机器人策略学习

   PyTorch · Behavior Cloning · Imitation Learning · LeRobot · ACT · ManiSkill · Diffusion Policy

   VL03 · ManiSkill 机器人学习 →
8. 第 8 周
   M10 · VLA 虚拟机器人

   RT-1 · RT-2 · Octo · OpenVLA · SmolVLA · π0 · π0.5 · GR00T · VLA

已有基础参考

这篇已发布教程可复习请求、响应解析与会话历史；它不代表机器人任务里程碑已完成。