# actpred × pybot 研究方向报告：循环神经网络思想与机器人学习演进路线

日期：2026-08-14（Asia/Shanghai）
范围：`actpred/`（动作预测，大脑）与 `pybot/`（机器人运行时，身体）
类型：技术研究方向调研（`advisory`；涉及部署可行性的判断标注 `verify_pending`，需 Hailo 实测确认）

## 0. 报告说明

本报告源于两个递进的调研问题：（1）动作预测能否引入更多循环神经网络（RNN）思想；（2）在此之上的整体研究方向。报告先剖析 actpred 当前建模范式的本质与痛点，再给出 RNN 思想的四个切入点，最后组织成分层的演进路线图。所有判断基于当日代码基线（进程内闭环已落地、Hailo NPU 部署链已实机验证）与项目现实约束。

## 1. 现状建模范式与核心痛点

### 1.1 当前是"单步窗口预测"，模型无跨步隐状态

actpred 的 `ActionPredictor`（[model.py:89-147](../../actpred/model.py#L89-L147)）每步独立地用
`[F帧图像, H步动作, PRED]` token 序列做一次性 Transformer 注意力融合，取 PRED 位置回归下一动作。
关键事实：**模型本身没有任何跨步隐状态**，跨步记忆完全由 H 步（默认 5）原始动作向量窗口承载。

训练侧是 teacher forcing（[dataset.py:112-117](../../actpred/dataset.py#L112-L117)）：
`action_history` 取真实历史，`target` 取下一真实动作，单步监督。

### 1.2 由此产生的三个真实痛点

| 痛点 | 根因 | 后果 |
|------|------|------|
| 长程依赖被截断 | 记忆容量 = H 步原始动作 | 超过 5 步的运动模式（起步→加速→匀速的长惯性）在窗口外丢失 |
| 动作不平滑 | 每步独立回归，无惯性先验 | 预测抖动，对物理舵机是磨损/损坏风险 |
| exposure bias | 训练用真实历史、闭环推理用自预测历史 | 分布失配，误差随步数累积，闭环易发散 |

### 1.3 决定性约束：Hailo NPU 部署链

[model.py:94](../../actpred/model.py#L94) 明确"除 batch 外全部维度静态，保证 ONNX/NPU 部署友好"；
[export_deploy.py](../../actpred/export_deploy.py) 整套 DFC 改造（图像输入拆帧、AvgPool 替换、
注意力手工展开）都围绕**静态图**。因此**循环算子（GRU/LSTM）是可行性的分水岭**——
DFC 对循环算子的支持通常弱于静态卷积。这一约束直接决定下文各方案的取舍。

## 2. RNN 思想的四个切入点（按部署链冲击排序）

### 方案 C · 残差/惯性先验：预测 Δaction（零参数，立即见效）⭐

把预测目标从绝对动作改为增量：`â_t = a_{t-1} + Δ`，模型只学 `Δ`。

- **本质**：等价于对角权重固定为 1 的线性 RNN（积分器），是 RNN 思想的极简形式。
- **收益**：输出被惯性锚定，天然平滑；训练更易收敛；舵机抖动大减。
- **部署影响**：零（只改 dataset 的 target 构造 + predict 逆变换时加回 `a_{t-1}`）。
- **代价**：极小。**强烈建议无论选哪条路线都先做这条**。

### 方案 B · 训练目标：多步展开 + scheduled sampling（治 exposure bias）

不改模型，只改训练：
- dataset 一次取 K 步连续样本而非单步；
- 第 1 步用真实历史，第 2 步起用模型自己的预测回传（scheduled sampling），loss 对 K 步累加。

- **收益**：直接消除训练/推理分布失配，闭环稳定性大幅提升。
- **部署影响**：零（模型结构不变，已部署 Hailo 推理链不动）。
- **代价**：只改 train.py 训练循环 + dataset 采样逻辑，风险最低。

### 方案 A · 混合架构：动作历史用 GRU 压缩（进阶）

`act_proj` 后不接 H 个独立 token，而是过一层 GRU，取最终隐状态压成 **1 个"动作记忆 token"**，
与 F 个图像 token + PRED 一起进 Transformer：

```
现状:  H 个动作 token ──────────────────┐
改进:  H 步动作 → GRU → h_final (1 token) ├→ [img×F, mem×1, PRED] → Transformer
```

- **收益**：跨步记忆容量与 H 解耦（GRU 隐状态压缩全部历史），长程惯性可建模。
- **部署影响**：token 序列从 `F+H+1` 变 `F+2`，更短更静态；唯一新增算子是 GRU——
  **关键风险点**，需先验证 Hailo DFC 对 GRU 的支持（可用固定 H 步展开的 cell 堆叠规避真循环）。
- **代价**：中等改动（model.py + export_deploy.py 的 GRU 展开）。

### 方案 D · 全 recurrent 编码器（表达力最强，部署风险最高）

图像帧也过 ConvGRU，跨步隐状态贯穿视觉与动作。**但这打破"除 batch 外全静态 shape"的
NPU 部署前提**，需重新设计部署图。不推荐在当前 Hailo 目标下做。

### 切入点评审结论

```
第 1 步(零风险):     C 残差预测 ──→ 立即改善平滑性，验证收益
第 2 步(零部署影响): B 多步展开训练 ──→ 治 exposure bias
第 3 步(需验证):     A GRU 记忆 token ──→ 先做 Hailo GRU 支持单测
                     ├─ 支持 → 展开 GRU 进部署链
                     └─ 不支持 → 保持 Transformer，仅用 B+C
```

**C+B 组合是性价比最高的第一步**：不改部署链、不增参数，直接解决"抖动 + exposure bias"
两个最痛的问题。A 留作需要更强长程记忆时的进阶项。

## 3. 整体研究方向：分层演进路线

在 RNN 思想之外，从机器人学习前沿看，两模块的演进空间组织为四层。现实约束：
**纯模仿学习（无奖励信号）、MPU6050 已装未用、数据靠实机 `--record`（稀缺）、Hailo NPU 部署硬约束**。

### Tier 0 · 立足现状（零部署风险，先做）

| 编号 | 方向 | 价值 | 改动 |
|------|------|------|------|
| R1 | 残差预测 + 多步展开训练（C+B） | 治抖动+失配，所有后续工作的地基 | dataset + train |
| R2 | **MPU6050 姿态回流** ⭐ | 给模型"本体感觉"，是机器人标准状态量 | pybot 读 IMU + actpred 加输入维 |
| R3 | 数据增强扩充 | 稀缺数据的低成本放大 | dataset 增方法 |
| R4 | **离线评估基准** | 没有基准，后续改进全是盲改 | 新增评估脚本 |

**R2 被低估**：pybot 已有 [mpu6050.py](../../pybot/pybot/hd/mpu6050.py) Kalman 姿态解算，但完全没进
actpred 的状态表征——模型对自身俯仰/横滚/角速度是盲的。接入 IMU 6 轴作为额外 token 或并入
动作向量，既补本体感觉，又为 R9 奖励设计提供信号源。

**R4 是基础设施**：现在只有开环 MSE。需要闭环代理指标——留出 episode 上开环滚动预测，
测多步累积误差、动作平滑度（相邻动作差分方差）、物理可行性（越界率）。

**R3**：当前仅亮度/对比度/饱和度/色调增强（[dataset.py:99-102](../../actpred/dataset.py#L99-L102)），
可加时间扭曲（帧率扰动）、动作镜像（左右对称对）、episode 混合拼接。

### Tier 1 · 模型能力（需验证部署兼容）

| 编号 | 方向 | 说明 |
|------|------|------|
| R5 | GRU 记忆 token（方案 A） | 先验 Hailo DFC 循环算子支持 |
| R6 | 多模态状态融合 | 视觉+IMU+本体感觉统一表征（R2 完整版） |
| R7 | 世界模型雏形 | 学"动作→下一帧"预测头，支撑 MPC 规划与 model-based RL |

### Tier 2 · 学习范式跃迁（数据/奖励是瓶颈）

| 编号 | 方向 | 说明 |
|------|------|------|
| R8 | **离线强化学习（CQL/IQL）** | 关键契合点：已有大量录制 episode、无法实机安全探索（舵机会坏），离线 RL 从固定数据集学策略、无需在线交互 |
| R9 | 奖励设计（MPU6050） | 姿态稳定性（姿态角方差小=奖励高）、能耗（动作差分平滑=省能）、任务进度 → 标量奖励；从"模仿"走向"优化"的关键一跃 |
| R10 | 自监督视觉预训练 | MAE/对比学习在相机图像上预训练编码器，缓解数据稀缺（ImageNet 预训练与机器人第一视角差异大） |

**R8 的洞察**：离线 RL 正好契合"数据已有 + 不能实机探索"的现状。但前提是 R9 的奖励信号。

### Tier 3 · 远景（与 aibox 联动）

- **R11 语言条件策略**：aibox 高层语言指令（"向前走""左转"）作为条件，actpred 出低层动作——
  分层控制，打通项目"AI 智能体"与"机器人"两大域。
- **R12 sim2real / 数字孪生**：pybot 的 dry_run 已具备合成帧 + Mock 总线，可演进为轻量仿真环境，
  先仿真预训练再迁移真机，解决数据稀缺与安全探索。
- **R13 持续学习**：闭环运行中不断回流新 episode 增量微调，机器人越用越聪明。

## 4. 推荐切入点与关键决策点

**短期（本月）**：**R1 + R4**。先落地"残差+多步训练"，同时建评估基准——没有基准，后续改进无法量化对比。

**中期**：**R2（MPU6050 回流）性价比之王**——硬件已装、代码已在、收益明确（本体感觉 + 奖励信号源），
只缺"接一根线"。

**关键决策点**：R5 GRU 是否值得做，取决于先做 **"Hailo DFC 循环算子支持验证"** 这个小实验：

- 支持 → R5/R7 可行，循环路线打开；
- 不支持 → Tier 1 循环类方案全部绕行（用更长静态窗口替代隐状态），精力转向
  **R2 多模态 + R8 离线 RL** 这条不依赖循环算子的路线。

## 5. 与本季其他工作的衔接

- 进程内闭环已落地（pybot `run_loop`/`--loop`），P1-2 帧源（守护线程队列）与 P1-1 overrun 告警已修复
  ——见 [pybot_actpred_AUDIT_20260814.md](../reviews/pybot_actpred_AUDIT_20260814.md)。
- 数据飞轮已通：`--record` 录制 → 训练 → 推理 → `--loop` 闭环，为 R8 离线 RL 与 R13 持续学习
  提供数据回路。
- `--record` 微动作与录制设计见 [pybot_micro_action_and_recording_20260813.md](pybot_micro_action_and_recording_20260813.md)；
  Hailo 部署链详见 [actpred_hailo_hat2_inference_research_20260813.md](actpred_hailo_hat2_inference_research_20260813.md)。

---

*本报告为研究方向调研（advisory），方案 A/R5/R7 的部署可行性标 verify_pending，
落地前需做 Hailo DFC 循环算子支持实测。*