具身智能 · 跟随式项目¶
先体验系统，再学习策略
E0–E2 建立直觉，E3 完成数据到策略的闭环。E4–E5 为选修。具体安装与代码以对应版本的上游教程为准，下面明确每一步的学习任务和验收方式。
| 项目 | 前置 | 设备与环境 | 层次 |
|---|---|---|---|
| E0 · 任务拆解 | 导论 | 浏览器、视频或交互演示 | 扫盲 |
| E1 · ROS 2 小海龟 | Python 基础、基本终端操作 | 教程支持的 ROS 2 系统，CPU | 基础 |
| E2 · 二维算法体验 | Python、坐标与数组 | 普通电脑 CPU | 基础 |
| E3 · 仿真模仿学习 | F1 或等价 PyTorch 基础、观测动作含义 | 图形仿真；GPU 或教程云端训练 Notebook | 进阶入门 |
| E4 · 语言与动作 | E3 与固定本体任务 | 按技能调用或 VLA 路线选择 | 方向选修 |
| E5 · 部署与迁移 | 可运行、可评估的策略 | 目标硬件与接口；先在环验证 | 方向选修 |
| P1 · 6DoF 位姿估计（实战） | 相机模型、刚体变换、PyTorch 基础 | RGB-D 数据集或带 LiDAR 的 iPhone；GPU 训练，Jetson 部署 | 感知方向实战 |
E0¶
拆解一个机器人任务¶
跟随：Modern Robotics 的 Preview/章节介绍；机器人学习概念从选定的 LeRobot 教程查阅。
选一个移动到点或机械臂操作演示，写下本体、传感器、目标、观测、状态、动作和成功条件，画出反馈闭环。
验收：一页系统说明，能解释感知、规划、控制与策略的职责。
E1¶
小海龟：从消息到反馈控制¶
主线：ROS 2 官方 Tutorials 的 Beginner CLI Tools（小海龟、节点、话题）与 Beginner Client Libraries（Python 发布/订阅）。按发行版匹配环境；动手学 ROS 2仅作为中文解释辅助。
- 启动原例，用键盘控制运动，查看节点与消息。
- 写一个发布速度的节点，确认命令单位和频率。
- 订阅位置，打印目标距离与朝向误差。
- 先转向目标，再用简单比例反馈向目标移动；接近目标时减速。
- 增加停止容差、速度限制、超时和无位置消息时停止的逻辑。
- 在多个初始位置重复运行，保存轨迹与日志。
个人修改：从固定速度改成位置反馈。
验收：至少 5 个起点的到达结果，记录终点误差和超时；能解释开环命令与反馈控制的差别。小海龟是软件与平面控制体验，不能证明真机动力学或操作能力。
E2¶
规划或机械臂运动：选一个先做¶
跟随：PythonRobotics / 在线文档。这是可视化算法例子库，下面给出具体练习顺序。
| 路线 | 示例 | 个人实验 |
|---|---|---|
| 移动机器人 | A* 网格搜索 | 修改起终点、障碍与机器人半径，记录是否可达、路径长度与运行时间 |
| 机械臂 | Arm Navigation 的二连杆例子 | 修改杆长和目标，比较关节与末端位置，并测试不可达目标 |
- 运行原例，逐项确认输入、输出、单位和坐标。
- 每次只修改一个条件，保存动画与数值结果。
- 制造一个失败情况，解释原因。
验收：至少三组条件的对比和一例失败分析。第一轮可体验两条路线，综合项目只选一个本体与任务。
E3¶
在仿真中从演示学习动作¶
跟随：LeRobot：Imitation Learning in Sim / LeRobot GitHub，概念配合 ACT 文档。
开始前先核对环境
这里的仿真教程是 main 开发版，按其要求使用匹配的源码和依赖，记录 commit。先验证仿真窗口与键盘/手柄能运行；CPU 可用于环境与数据检查，训练再安排 GPU 或教程链接的 Notebook。它是后半程项目，需要预留安装调试时间。
- 启动教程原始任务，用键盘或手柄完成遥操作。
- 录制演示，检查图像、状态、动作与时间对应关系。
- 按完整 episode 留出评估数据，避免把同一轨迹的相邻帧随机拆进训练和验证。
- 按教程训练 ACT，保存配置、曲线和 checkpoint。
- 在仿真中自主执行，预先定义成功、失败、超时与终止条件。
- 在至少 20 次固定评估中记录成功次数/总次数和失败类型；报告初始条件。
- 改演示数量或覆盖范围中的一个因素，再用相同评估条件比较。
个人修改：设计一组数据覆盖实验，分析“训练损失低但闭环失败”的情况。
验收：数据说明、版本配置、训练记录、执行视频、成功率与失败分析。离线动作误差与闭环任务成功分别报告；结果仅代表已测条件，不推断真机表现。
E4¶
连接语言：选择一条路线¶
| 路线 | 参考入口 | 实践顺序 | 验收 |
|---|---|---|---|
| 技能调用 | 基础模型应用与智能体；已有 E1/E3 接口 | 定义有限技能与参数 → 用规则基线调用 → 接模型输出 → 检查参数与执行反馈 | 测试正常、歧义和不支持指令；分别记录理解与执行成功 |
| VLA 适配 | SmolVLA 官方教程 | 核对支持的本体、算力和数据 → 按教程采集/转换 → 微调 → 固定条件评估 | 报告数据与动作接口，比较任务条件变化下表现 |
SmolVLA 教程涉及机器人配置与数据，不能把任意 E3 仿真数据直接视为兼容输入。先核对相机、状态、动作、任务标注和控制接口；资源不足时先完成技能调用或只做 VLA 结构阅读。
两条路线都需要闭环验证；VLA 并不必然是独立高层规划器。
E5¶
端侧部署与虚实迁移¶
参考：沿用仿真与虚实迁移专题中 E3 的现有环境，再查所选本体的官方接口。确定迁移问题后再增加平台。
固定模型与任务，先测软件回路时延，再接目标硬件做硬件在环；核对坐标、单位、控制频率、动作限幅与停止机制。最后在受控条件下逐步验证真机，并记录域差异和失败恢复。
验收：时延、资源、闭环成功率和迁移前后对比；区分软件在环、硬件在环、真机实验。仿真完成不等于虚实迁移完成。
统一项目记录¶
每项保存教程、版本、运行方法、任务定义、数据来源、结果表、失败样例和个人修改。任务成功与论文指标按实际实验报告，未完成的工作标为计划。