 qing
|
0fa32cb5e7
|
feat(actpred): HailoPredictor 适配 v4 onehot HEF——1864 logits 解码 + 固定列覆盖
v4 onehot 模型 HEF 输出 (1,1,1864)，原回归假设（输出=action_dim）导致
输入分类与维度校验失败。_classify_inputs 改为 pred_token 先判（s[1]==1）、
其余 3 维归 history；_derive_dims 识别 TOTAL_BINS 输出；predict 经 bins.decode
期望值解码并固定权重 0 列（与 predict.py 同语义），新增 column_weights 参数。
_npu_test.py 指向 v4 并增加 onehot 参考分支，NPU 实测 4 角 PASS、
HEF vs torch max_diff 0.5°。
|
2026-08-17 14:29:21 +08:00 |
|
|
qing
|
9179281420
|
fix(pybot×actpred): v3 审计 P2 清零——验收链 fixed_range + 导出断言 + overrun 节流
- v3-P2-1: _npu_test/_onnx_validate 按 normalize_mode 分支（fixed_range 免 stats，
HailoPredictor 透传模式，torch 参考同口径反归一化）
- v3-P2-2: export_deploy/export_onnx 一致性 diff 超 1e-4 即 sys.exit（P2-f 闭环）
- v3-P2-3: run_loop overrun 告警节流（第1次+每100次），降 hz 建议仅 >10% 输出
- P2-a1: default_column_weights 扩展列（action_dim>18）默认 1.0
- P2-c: 补 predictor 异常清理路径测试（异常传播 + finally 落盘）
- P2-d/P2-e: Resize 口径与 resume scheduler T_max 语义文档化
- R2-4: _set.sh 安装后断言 CPU 版 torch，误装 CUDA 即拦截
测试: pybot 89 passed (+1)、actpred 148 passed/18 skipped
|
2026-08-14 23:01:56 +08:00 |
|
|
qing
|
aa271e395a
|
fix(pybot×actpred): 审计修复 7 项——Hailo 部署链语义对齐 + NaN 安全
P1-1: export_deploy.py forward() 从硬编码 3 帧改为 *inputs 动态解析
P1-2: hailo_infer.py 补 predict_delta 支持（残差模式 + --ckpt 自动检测）
P1-3: pybot _load_predictor 自动查找 pred_token.npy/action_stats.npy/
companion checkpoint，恢复 Hailo 推理训练语义
P1-4: pretrain_mt.py random_images 每 batch 重新生成噪声，防 BN 退化
P2-1: predict.py/hailo_infer.py/robot.py 三层 NaN/Inf 防线
P2-3: recorder.py imu_dim 默认 8→0，避免外部直接使用时形状错误
P2-5: _npu_test.py imu_dim 移到函数定义前，消除执行顺序依赖
|
2026-08-14 16:23:05 +08:00 |
|
|
qing
|
a2ba797410
|
feat(pybot×actpred): R2 姿态反馈方案一——MPU6050 独立 IMU token 全链路
- pybot：recorder 逐帧落盘 imu.npy（T×8，roll,pitch,ax,ay,az,gx,gy,gz，与帧/动作同调用对齐）；run_loop 对声明 imu_dim 的 predictor 以 predict(..., imu=) 调用（鸭子类型，旧两参调用向后兼容）
- actpred：新增 --imu-dim；model 序列 [img×F, act×H, (IMU), PRED]（imu_dim>0 时 F+H+2，IMU token 位于 PRED 前）；dataset/train 读 imu.npy（缺失按零向量兜底）；predict/ONNX/Hailo 三后端与 export/gen_calibration/dfc_compile/_npu_test 部署链适配 imu 输入
- 姿态按物理量程固定缩放归一化（imu_norm.py，训练/推理共用，零状态）
- 测试：actpred 128 passed / pybot loop+recorder 28 passed
|
2026-08-14 09:07:24 +08:00 |
|
|
qing
|
823e91a30e
|
fix(actpred): 修复 HEF 帧归一化误判与部署图数值不等价，补齐 P3 审计项
- hailo_infer: 帧归一化判定改为量化网格 dequant(0)（旧启发式把归一化
帧当原始像素喂入，图像路径饱和破坏；实机 max_diff 2.55→0.37，
img 敏感性 1.44→22.26）
- export_deploy: pool kernel 由卷积真实输出尺寸探测（H//16 在 1080
高度下静默丢弃末行）；mobilenet backbone 给出明确报错
- mt_parser: @Action 为文件末位块时解析成功，不再静默丢数据
- config: checkpoint train 段未知键/非 dict 校验；init-from 兼容性
警告助手（normalize/action_dim），train 与 pretrain 共用
- dataset: stats 文件形状校验；predict: 移除误导性 --action-dim
- dfc_compile: --frame-count 参数化（原硬编码 3 帧）
- gen_calibration: 旧模式校准图像改分块 memmap 生成（1080p 原一次性
分配 ~600MB）
- _npu_test: torch 参考反归一化对齐后再与 HEF 比较
- 单测 81→90 全过；README 与测速报告更新为验证轮次数据
|
2026-08-13 15:22:34 +08:00 |
|
|
qing
|
52c0ade3c4
|
fix(actpred): 定位 HEF 输入不敏感根因，补齐归一化预训练链路
根因：预训练全零图像占位使 BN running_var 停在初始小值，推理时
特征放大至 ±1e6，DFC 在 token merge 点按最大幅度分配共享量化
scale，pred_token/act_tokens 全部被压成 0，HEF 输出对任何输入
恒定（详见 docs/reports/actpred_hef_insensitivity_rootcause_20260813.md）
- export_deploy.py：新增 check_token_ranges 导出前 token 量级检查
（|img|>100 中止导出并提示微调；act/img 比例过大警告；归一化
模型在 z 空间采样，避免零方差列爆炸）
- pretrain_mt.py：新增 --random-images（ImageNet 归一化噪声占位，
恢复 BN 统计）、--init-from（微调起点，含动作空间一致性警告）、
--normalize-actions 完整支持（训练集 stats 计算与保存、验证集复用）
- gen_calibration.py：归一化模型的校准集自动 z-score 动作历史
- _onnx_validate.py / _npu_test.py：归一化模型适配（torch 参考
z-score、HailoPredictor 传 stats_path）
- README：预训练章节补充新参数与 NPU 部署警告
- 单测 76/76 通过；冒烟验证：1 epoch 噪声微调后 |img| 2.46e5→8，
归一化后 |act| 694→2.9
|
2026-08-13 13:57:38 +08:00 |
|
|
qing
|
14964b9574
|
fix(actpred): 修复 Hailo HEF 编译链路的输入断连与封装问题
- hailo_infer: 帧输入按 input_layerN 排序绑定（vstream 报告顺序实测
为 1,5,4,3,2，按报告顺序会 frame1/frame2 错位），新增 --pred-token
- gen_calibration: pred_token 校准改为学习值 ±30% 抖动，修复常量
校准量化退化（scale=18571.7，任何输入都被量化成 0）
- export_deploy: 新增 --pred-token-out 保存学习值供推理端喂入
- dfc_compile: parser/optimize 后自动检查输入层连通性，断开即报错
- 新增 _npu_test.py（NPU 4 角敏感性复验）与 _onnx_validate.py
（编译前 ONNX 数值门槛），test_actpred 补乱序帧序用例
|
2026-08-13 12:22:26 +08:00 |
|