 qing
|
a2ba797410
|
feat(pybot×actpred): R2 姿态反馈方案一——MPU6050 独立 IMU token 全链路
- pybot：recorder 逐帧落盘 imu.npy（T×8，roll,pitch,ax,ay,az,gx,gy,gz，与帧/动作同调用对齐）；run_loop 对声明 imu_dim 的 predictor 以 predict(..., imu=) 调用（鸭子类型，旧两参调用向后兼容）
- actpred：新增 --imu-dim；model 序列 [img×F, act×H, (IMU), PRED]（imu_dim>0 时 F+H+2，IMU token 位于 PRED 前）；dataset/train 读 imu.npy（缺失按零向量兜底）；predict/ONNX/Hailo 三后端与 export/gen_calibration/dfc_compile/_npu_test 部署链适配 imu 输入
- 姿态按物理量程固定缩放归一化（imu_norm.py，训练/推理共用，零状态）
- 测试：actpred 128 passed / pybot loop+recorder 28 passed
|
2026-08-14 09:07:24 +08:00 |
|
|
qing
|
823e91a30e
|
fix(actpred): 修复 HEF 帧归一化误判与部署图数值不等价，补齐 P3 审计项
- hailo_infer: 帧归一化判定改为量化网格 dequant(0)（旧启发式把归一化
帧当原始像素喂入，图像路径饱和破坏；实机 max_diff 2.55→0.37，
img 敏感性 1.44→22.26）
- export_deploy: pool kernel 由卷积真实输出尺寸探测（H//16 在 1080
高度下静默丢弃末行）；mobilenet backbone 给出明确报错
- mt_parser: @Action 为文件末位块时解析成功，不再静默丢数据
- config: checkpoint train 段未知键/非 dict 校验；init-from 兼容性
警告助手（normalize/action_dim），train 与 pretrain 共用
- dataset: stats 文件形状校验；predict: 移除误导性 --action-dim
- dfc_compile: --frame-count 参数化（原硬编码 3 帧）
- gen_calibration: 旧模式校准图像改分块 memmap 生成（1080p 原一次性
分配 ~600MB）
- _npu_test: torch 参考反归一化对齐后再与 HEF 比较
- 单测 81→90 全过；README 与测速报告更新为验证轮次数据
|
2026-08-13 15:22:34 +08:00 |
|
|
qing
|
8c58770280
|
fix(actpred): 修复 DFC 连通性检查在 5.3 HAR 下被静默跳过的缺陷
DFC 5.3 的 HAR 不含 .edges 文件，原检查从未真正执行（仅打印
WARNING 跳过），输入断连的 HEF 仍可编译通过。改为解析主 hn 图
（layer output 边）做 BFS 可达性验证，任一输入层不可达输出层即
报错阻断；har_input_layer_names 同步改为数字后缀排序并优先取
主图 hn。新增 3 个单测（排序/通过/断连拦截），全量 76 通过。
本轮 224×224 重编译实测：优化后 HAR 5 输入均可达输出层（此前
64 版 HEF 输入不敏感的连通性隐患已消除）；但 NPU 复验输出仍不
敏感，pred_token 边缘 scale=1965.92 表明抖动校准未生效，根因
待查（见后续提交）。
|
2026-08-13 05:13:18 +00:00 |
|
|
qing
|
14964b9574
|
fix(actpred): 修复 Hailo HEF 编译链路的输入断连与封装问题
- hailo_infer: 帧输入按 input_layerN 排序绑定（vstream 报告顺序实测
为 1,5,4,3,2，按报告顺序会 frame1/frame2 错位），新增 --pred-token
- gen_calibration: pred_token 校准改为学习值 ±30% 抖动，修复常量
校准量化退化（scale=18571.7，任何输入都被量化成 0）
- export_deploy: 新增 --pred-token-out 保存学习值供推理端喂入
- dfc_compile: parser/optimize 后自动检查输入层连通性，断开即报错
- 新增 _npu_test.py（NPU 4 角敏感性复验）与 _onnx_validate.py
（编译前 ONNX 数值门槛），test_actpred 补乱序帧序用例
|
2026-08-13 12:22:26 +08:00 |
|
|
qing
|
0d16832612
|
feat(actpred): 新增 Hailo DFC 编译链路，ONNX → HEF 全流程打通
训练态 ONNX（5D 输入/AdaptiveAvgPool/注意力 head reshape）无法被 DFC 解析，
新增 export_deploy.py 做权重不变的等价图改造：帧分支展开 CNN、img_proj
折叠为 1x1 卷积、注意力按头展开、全程 (1,1,S,d) 无 transpose 布局。
dfc_compile.py 一键走 parser→optimize→compiler（DFC 5.3），
gen_calibration.py --deploy 生成部署布局校准集。
已验证 110 层完整网络编译为 hailo10h HEF（1.8MB，4 contexts）。
|
2026-08-13 01:33:58 +00:00 |
|