docs(actpred): 研究方向 R8 细化——三层流水线离线 RL + 样本级验证集报告

R8 细化：预训练→监督微调→离线 RL 流水线定稿；IQL/CQL/DT 选型对比；
IMU 奖励工程四分量（姿态稳定/抖动/平滑/任务进度）；三阶段落地路径。
新增样本级验证集划分实验报告（整集 60 样本噪声大 → 样本级 142 样本
更稳，F2b 在更难验证集上取得更低 val）。实现：val_split_mode 默认
sample，dataset sample_indices 过滤 + zscore 统计口径保持训练集专属。

docs/reports/actpred_research_directions_20260814.md

@@ -130,6 +130,52 @@ actpred 的状态表征——模型对自身俯仰/横滚/角速度是盲的。
 
 **R8 的洞察**：离线 RL 正好契合"数据已有 + 不能实机探索"的现状。但前提是 R9 的奖励信号。
 
+### R8 细化：预训练 → 监督微调 → 离线 RL 三层流水线
+
+**流水线形态**（基于 2026-08 实验进展的定稿）：
+
+```
+阶段 0  预训练（.mt 动作动力学）        → 已有（pretrain_mt）
+阶段 1  监督微调（录制 episode，MSE/CE）→ 已有（train.py）
+阶段 2  离线 RL（录制数据 + IMU 奖励）  → 待建（本细化）
+```
+
+**为什么离线而非在线**：在线探索在真机上有物理风险（舵机乱动、碰撞），且 R4 已证明闭环
+反馈敏感——RL 探索的随机扰动会放大不稳定。离线 RL 从固定数据集学策略，零硬件风险。
+
+**算法选型**：
+
+| 算法 | 形态 | 适配度 |
+|------|------|--------|
+| IQL | 隐式 Q 学习，数据高效 | 首选：单策略、录制数据规模小 |
+| CQL | 保守 Q 惩罚，抗分布外 | 备选：数据质量差时更稳 |
+| 决策 Transformer（DT） | 回报条件化，无价值网络 | 简替：实现最简，但回报需已知 |
+
+**IMU 奖励工程（R9 落地）**——传感器从"输入"变"监督信号"：
+
+| 奖励分量 | 公式（示意） | 物理意义 |
+|---------|-------------|---------|
+| 姿态稳定 | r₁ = -α·(|roll| + |pitch|) | 越正越接近站直 |
+| 抖动惩罚 | r₂ = -β·var(角加速度) | 平滑运动，节能 |
+| 动作平滑 | r₃ = -γ·Σ‖aₜ - aₜ₋₁‖ | 与 R4 平滑度指标同源 |
+| 任务进度 | r₄ = 姿态变化率（完成检测） | 驱动任务完成 |
+
+奖励为标量加权和：R = Σwᵢrᵢ。设计难点在于权重标定——需实机 IMU 统计
+（静止 vs 动作时的量级差）确定 α/β/γ。
+
+**落地路径**：
+
+```
+阶段 A（数据前提）: 实机 --record 采集 + IMU 统计标定奖励权重
+阶段 B（离线 RL）: IQL 在录制数据上训练，R4 闭环对比监督基线
+阶段 C（安全在线）: 小幅度动作扰动微调 + 动作界/速率保护
+```
+
+**与当前实验的衔接**：one-hot 方案（F 系列）的固定列机制与有界输出天然
+兼容 RL 的动作扰动保护；样本级验证集划分（20260815）为 RL 的价值函数
+评估提供更稳的口径。R8 的前提不变：奖励信号（R9）与真实数据缺一不可——
+当前 dry-run 数据（噪声帧 + 零 IMU）对 RL 无意义。
+
 ### Tier 3 · 远景（与 aibox 联动）
 
 - **R11 语言条件策略**：aibox 高层语言指令（"向前走""左转"）作为条件，actpred 出低层动作——