qing
3e773debc9
- docs/reviews/pybot_actpred_AUDIT_20260814.md：双模块审计（15 项既有 修复确认 + 新发现 P1×4/P2×6，含 P1-2 闭环帧源语义、P1-1 节拍失效研究） - docs/reports/actpred_research_directions_20260814.md：RNN 思想四切入点 （C 残差/B 多步/A GRU 记忆 token/D 全 recurrent）+ R1~R13 分层演进路线 - 迁移文档 §9 更新为已实现：进程内闭环
167 lines
10 KiB
Markdown
167 lines
10 KiB
Markdown
# actpred × pybot 研究方向报告：循环神经网络思想与机器人学习演进路线
|
||
|
||
日期：2026-08-14（Asia/Shanghai）
|
||
范围：`actpred/`（动作预测，大脑）与 `pybot/`（机器人运行时，身体）
|
||
类型：技术研究方向调研（`advisory`；涉及部署可行性的判断标注 `verify_pending`，需 Hailo 实测确认）
|
||
|
||
## 0. 报告说明
|
||
|
||
本报告源于两个递进的调研问题：（1）动作预测能否引入更多循环神经网络（RNN）思想；（2）在此之上的整体研究方向。报告先剖析 actpred 当前建模范式的本质与痛点，再给出 RNN 思想的四个切入点，最后组织成分层的演进路线图。所有判断基于当日代码基线（进程内闭环已落地、Hailo NPU 部署链已实机验证）与项目现实约束。
|
||
|
||
## 1. 现状建模范式与核心痛点
|
||
|
||
### 1.1 当前是"单步窗口预测"，模型无跨步隐状态
|
||
|
||
actpred 的 `ActionPredictor`（[model.py:89-147](../../actpred/model.py#L89-L147)）每步独立地用
|
||
`[F帧图像, H步动作, PRED]` token 序列做一次性 Transformer 注意力融合，取 PRED 位置回归下一动作。
|
||
关键事实：**模型本身没有任何跨步隐状态**，跨步记忆完全由 H 步（默认 5）原始动作向量窗口承载。
|
||
|
||
训练侧是 teacher forcing（[dataset.py:112-117](../../actpred/dataset.py#L112-L117)）：
|
||
`action_history` 取真实历史，`target` 取下一真实动作，单步监督。
|
||
|
||
### 1.2 由此产生的三个真实痛点
|
||
|
||
| 痛点 | 根因 | 后果 |
|
||
|------|------|------|
|
||
| 长程依赖被截断 | 记忆容量 = H 步原始动作 | 超过 5 步的运动模式（起步→加速→匀速的长惯性）在窗口外丢失 |
|
||
| 动作不平滑 | 每步独立回归，无惯性先验 | 预测抖动，对物理舵机是磨损/损坏风险 |
|
||
| exposure bias | 训练用真实历史、闭环推理用自预测历史 | 分布失配，误差随步数累积，闭环易发散 |
|
||
|
||
### 1.3 决定性约束：Hailo NPU 部署链
|
||
|
||
[model.py:94](../../actpred/model.py#L94) 明确"除 batch 外全部维度静态，保证 ONNX/NPU 部署友好"；
|
||
[export_deploy.py](../../actpred/export_deploy.py) 整套 DFC 改造（图像输入拆帧、AvgPool 替换、
|
||
注意力手工展开）都围绕**静态图**。因此**循环算子（GRU/LSTM）是可行性的分水岭**——
|
||
DFC 对循环算子的支持通常弱于静态卷积。这一约束直接决定下文各方案的取舍。
|
||
|
||
## 2. RNN 思想的四个切入点（按部署链冲击排序）
|
||
|
||
### 方案 C · 残差/惯性先验：预测 Δaction（零参数，立即见效）⭐
|
||
|
||
把预测目标从绝对动作改为增量：`â_t = a_{t-1} + Δ`，模型只学 `Δ`。
|
||
|
||
- **本质**：等价于对角权重固定为 1 的线性 RNN（积分器），是 RNN 思想的极简形式。
|
||
- **收益**：输出被惯性锚定，天然平滑；训练更易收敛；舵机抖动大减。
|
||
- **部署影响**：零（只改 dataset 的 target 构造 + predict 逆变换时加回 `a_{t-1}`）。
|
||
- **代价**：极小。**强烈建议无论选哪条路线都先做这条**。
|
||
|
||
### 方案 B · 训练目标：多步展开 + scheduled sampling（治 exposure bias）
|
||
|
||
不改模型，只改训练：
|
||
- dataset 一次取 K 步连续样本而非单步；
|
||
- 第 1 步用真实历史，第 2 步起用模型自己的预测回传（scheduled sampling），loss 对 K 步累加。
|
||
|
||
- **收益**：直接消除训练/推理分布失配，闭环稳定性大幅提升。
|
||
- **部署影响**：零（模型结构不变，已部署 Hailo 推理链不动）。
|
||
- **代价**：只改 train.py 训练循环 + dataset 采样逻辑，风险最低。
|
||
|
||
### 方案 A · 混合架构：动作历史用 GRU 压缩（进阶）
|
||
|
||
`act_proj` 后不接 H 个独立 token，而是过一层 GRU，取最终隐状态压成 **1 个"动作记忆 token"**，
|
||
与 F 个图像 token + PRED 一起进 Transformer：
|
||
|
||
```
|
||
现状: H 个动作 token ──────────────────┐
|
||
改进: H 步动作 → GRU → h_final (1 token) ├→ [img×F, mem×1, PRED] → Transformer
|
||
```
|
||
|
||
- **收益**：跨步记忆容量与 H 解耦（GRU 隐状态压缩全部历史），长程惯性可建模。
|
||
- **部署影响**：token 序列从 `F+H+1` 变 `F+2`，更短更静态；唯一新增算子是 GRU——
|
||
**关键风险点**，需先验证 Hailo DFC 对 GRU 的支持（可用固定 H 步展开的 cell 堆叠规避真循环）。
|
||
- **代价**：中等改动（model.py + export_deploy.py 的 GRU 展开）。
|
||
|
||
### 方案 D · 全 recurrent 编码器（表达力最强，部署风险最高）
|
||
|
||
图像帧也过 ConvGRU，跨步隐状态贯穿视觉与动作。**但这打破"除 batch 外全静态 shape"的
|
||
NPU 部署前提**，需重新设计部署图。不推荐在当前 Hailo 目标下做。
|
||
|
||
### 切入点评审结论
|
||
|
||
```
|
||
第 1 步(零风险): C 残差预测 ──→ 立即改善平滑性，验证收益
|
||
第 2 步(零部署影响): B 多步展开训练 ──→ 治 exposure bias
|
||
第 3 步(需验证): A GRU 记忆 token ──→ 先做 Hailo GRU 支持单测
|
||
├─ 支持 → 展开 GRU 进部署链
|
||
└─ 不支持 → 保持 Transformer，仅用 B+C
|
||
```
|
||
|
||
**C+B 组合是性价比最高的第一步**：不改部署链、不增参数，直接解决"抖动 + exposure bias"
|
||
两个最痛的问题。A 留作需要更强长程记忆时的进阶项。
|
||
|
||
## 3. 整体研究方向：分层演进路线
|
||
|
||
在 RNN 思想之外，从机器人学习前沿看，两模块的演进空间组织为四层。现实约束：
|
||
**纯模仿学习（无奖励信号）、MPU6050 已装未用、数据靠实机 `--record`（稀缺）、Hailo NPU 部署硬约束**。
|
||
|
||
### Tier 0 · 立足现状（零部署风险，先做）
|
||
|
||
| 编号 | 方向 | 价值 | 改动 |
|
||
|------|------|------|------|
|
||
| R1 | 残差预测 + 多步展开训练（C+B） | 治抖动+失配，所有后续工作的地基 | dataset + train |
|
||
| R2 | **MPU6050 姿态回流** ⭐ | 给模型"本体感觉"，是机器人标准状态量 | pybot 读 IMU + actpred 加输入维 |
|
||
| R3 | 数据增强扩充 | 稀缺数据的低成本放大 | dataset 增方法 |
|
||
| R4 | **离线评估基准** | 没有基准，后续改进全是盲改 | 新增评估脚本 |
|
||
|
||
**R2 被低估**：pybot 已有 [mpu6050.py](../../pybot/pybot/hd/mpu6050.py) Kalman 姿态解算，但完全没进
|
||
actpred 的状态表征——模型对自身俯仰/横滚/角速度是盲的。接入 IMU 6 轴作为额外 token 或并入
|
||
动作向量，既补本体感觉，又为 R9 奖励设计提供信号源。
|
||
|
||
**R4 是基础设施**：现在只有开环 MSE。需要闭环代理指标——留出 episode 上开环滚动预测，
|
||
测多步累积误差、动作平滑度（相邻动作差分方差）、物理可行性（越界率）。
|
||
|
||
**R3**：当前仅亮度/对比度/饱和度/色调增强（[dataset.py:99-102](../../actpred/dataset.py#L99-L102)），
|
||
可加时间扭曲（帧率扰动）、动作镜像（左右对称对）、episode 混合拼接。
|
||
|
||
### Tier 1 · 模型能力（需验证部署兼容）
|
||
|
||
| 编号 | 方向 | 说明 |
|
||
|------|------|------|
|
||
| R5 | GRU 记忆 token（方案 A） | 先验 Hailo DFC 循环算子支持 |
|
||
| R6 | 多模态状态融合 | 视觉+IMU+本体感觉统一表征（R2 完整版） |
|
||
| R7 | 世界模型雏形 | 学"动作→下一帧"预测头，支撑 MPC 规划与 model-based RL |
|
||
|
||
### Tier 2 · 学习范式跃迁（数据/奖励是瓶颈）
|
||
|
||
| 编号 | 方向 | 说明 |
|
||
|------|------|------|
|
||
| R8 | **离线强化学习（CQL/IQL）** | 关键契合点：已有大量录制 episode、无法实机安全探索（舵机会坏），离线 RL 从固定数据集学策略、无需在线交互 |
|
||
| R9 | 奖励设计（MPU6050） | 姿态稳定性（姿态角方差小=奖励高）、能耗（动作差分平滑=省能）、任务进度 → 标量奖励；从"模仿"走向"优化"的关键一跃 |
|
||
| R10 | 自监督视觉预训练 | MAE/对比学习在相机图像上预训练编码器，缓解数据稀缺（ImageNet 预训练与机器人第一视角差异大） |
|
||
|
||
**R8 的洞察**：离线 RL 正好契合"数据已有 + 不能实机探索"的现状。但前提是 R9 的奖励信号。
|
||
|
||
### Tier 3 · 远景（与 aibox 联动）
|
||
|
||
- **R11 语言条件策略**：aibox 高层语言指令（"向前走""左转"）作为条件，actpred 出低层动作——
|
||
分层控制，打通项目"AI 智能体"与"机器人"两大域。
|
||
- **R12 sim2real / 数字孪生**：pybot 的 dry_run 已具备合成帧 + Mock 总线，可演进为轻量仿真环境，
|
||
先仿真预训练再迁移真机，解决数据稀缺与安全探索。
|
||
- **R13 持续学习**：闭环运行中不断回流新 episode 增量微调，机器人越用越聪明。
|
||
|
||
## 4. 推荐切入点与关键决策点
|
||
|
||
**短期（本月）**：**R1 + R4**。先落地"残差+多步训练"，同时建评估基准——没有基准，后续改进无法量化对比。
|
||
|
||
**中期**：**R2（MPU6050 回流）性价比之王**——硬件已装、代码已在、收益明确（本体感觉 + 奖励信号源），
|
||
只缺"接一根线"。
|
||
|
||
**关键决策点**：R5 GRU 是否值得做，取决于先做 **"Hailo DFC 循环算子支持验证"** 这个小实验：
|
||
|
||
- 支持 → R5/R7 可行，循环路线打开；
|
||
- 不支持 → Tier 1 循环类方案全部绕行（用更长静态窗口替代隐状态），精力转向
|
||
**R2 多模态 + R8 离线 RL** 这条不依赖循环算子的路线。
|
||
|
||
## 5. 与本季其他工作的衔接
|
||
|
||
- 进程内闭环已落地（pybot `run_loop`/`--loop`），P1-2 帧源（守护线程队列）与 P1-1 overrun 告警已修复
|
||
——见 [pybot_actpred_AUDIT_20260814.md](../reviews/pybot_actpred_AUDIT_20260814.md)。
|
||
- 数据飞轮已通：`--record` 录制 → 训练 → 推理 → `--loop` 闭环，为 R8 离线 RL 与 R13 持续学习
|
||
提供数据回路。
|
||
- `--record` 微动作与录制设计见 [pybot_micro_action_and_recording_20260813.md](pybot_micro_action_and_recording_20260813.md)；
|
||
Hailo 部署链详见 [actpred_hailo_hat2_inference_research_20260813.md](actpred_hailo_hat2_inference_research_20260813.md)。
|
||
|
||
---
|
||
|
||
*本报告为研究方向调研（advisory），方案 A/R5/R7 的部署可行性标 verify_pending，
|
||
落地前需做 Hailo DFC 循环算子支持实测。*
|