qing/blackbird
3
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
740 Commits 2 Branches 0 Tags
a18a7de1ca6366abd542b59e8e0200aa1f13d1b1
Commit Graph
14 Commits
Author SHA1 Message Date
qing a18a7de1ca feat(actpred): 多头 one-hot 分类输出——18 组独立 softmax 头替代连续回归 
分箱（bins.py）：舵机 1°/箱 ×10（180 箱，匹配 0.75° 微动作插值粒度）、
spk.F/spk.delay 对数 32 箱 ×2，共 1864 logits；保留位无头。软标签
（onehot_sigma=1.0 高斯扩散）缓解小样本数据稀疏；期望值解码恢复
连续分辨率（箱生活在原始空间，无反变换放大）。

训练损失为逐头加权 CE（列权重沿用），闭环反馈经解码→范围归一化
回写历史；predict 输出仍为 18 维原始量纲，pybot 契约零变化。

结构性消除尺度放大（每箱等距）与物理界问题（箱天然有界），
为 A-E 归一化实验失败后的正解路线。要求 normalize_mode 为范围类，
与 predict_delta 互斥。测试 +10（含 CLI 映射回归）。
 2026-08-15 00:17:58 +00:00
qing 1cf428f384 feat(actpred): log_range 归一化——spk 两列对数尺度修正精度错配 
fixed_range 线性 min-max 下常用值挤在低端（10Hz→0.002），闭环反馈
中小绝对误差=大相对误差（模型 C/D 发散根因）。新增 normalize_mode=
log_range：spk.F/spk.delay 用 log10(1+x) 对数尺度（10Hz→0.27），
舵机列保持线性。全链路接入（dataset/pretrain/predict/onnx/hailo/
calibration/export），与 v3 审计 none 模式/元数据自动识别合并。
 2026-08-14 21:38:14 +00:00
qing 85bf68f505 feat(actpred): 固定范围归一化 + 逐列加权损失，附 pybot*actpred 审计修复 
新增 action_norm.py 固定物理范围 min-max 归一化，无 stats 文件零状态部署；train.py 引入 _weighted_mse 逐列加权（舵机 1.0/spk 0.2/保留位 0.0）。审计修复: P0-1 pybot 读 normalize_mode, R2-1 NaN 阻断 best, P2-a 后端大小写不敏感, P1-3 utf-8-sig BOM, R1-1 data_dir 覆盖, R2-7 _run.sh 报错, R2-3 空 val 存 best.pt, P2-a2 误报警, R1-2 合并 parse_action_history, P2-b 合并 numpy import。评估修正 oob 物理界+error_growth 按 episode 中位数。推理部署全链支持 fixed_range。
 2026-08-14 18:26:03 +08:00
qing aa271e395a fix(pybot×actpred): 审计修复 7 项——Hailo 部署链语义对齐 + NaN 安全 
P1-1: export_deploy.py forward() 从硬编码 3 帧改为 *inputs 动态解析
P1-2: hailo_infer.py 补 predict_delta 支持（残差模式 + --ckpt 自动检测）
P1-3: pybot _load_predictor 自动查找 pred_token.npy/action_stats.npy/
      companion checkpoint，恢复 Hailo 推理训练语义
P1-4: pretrain_mt.py random_images 每 batch 重新生成噪声，防 BN 退化
P2-1: predict.py/hailo_infer.py/robot.py 三层 NaN/Inf 防线
P2-3: recorder.py imu_dim 默认 8→0，避免外部直接使用时形状错误
P2-5: _npu_test.py imu_dim 移到函数定义前，消除执行顺序依赖
 2026-08-14 16:23:05 +08:00
qing a2ba797410 feat(pybot×actpred): R2 姿态反馈方案一——MPU6050 独立 IMU token 全链路 
- pybot：recorder 逐帧落盘 imu.npy（T×8，roll,pitch,ax,ay,az,gx,gy,gz，与帧/动作同调用对齐）；run_loop 对声明 imu_dim 的 predictor 以 predict(..., imu=) 调用（鸭子类型，旧两参调用向后兼容）

- actpred：新增 --imu-dim；model 序列 [img×F, act×H, (IMU), PRED]（imu_dim>0 时 F+H+2，IMU token 位于 PRED 前）；dataset/train 读 imu.npy（缺失按零向量兜底）；predict/ONNX/Hailo 三后端与 export/gen_calibration/dfc_compile/_npu_test 部署链适配 imu 输入

- 姿态按物理量程固定缩放归一化（imu_norm.py，训练/推理共用，零状态）

- 测试：actpred 128 passed / pybot loop+recorder 28 passed
 2026-08-14 09:07:24 +08:00
qing cc2f7bca79 feat(actpred): R1 残差预测+多步展开训练 与 R4 离线评估基准 
R1（可选开关，默认关，向后兼容）：
- --predict-delta：残差预测，target=Δ=a[t]-a[t-1]（归一化空间），
  推理端 predict 自动加回 a_{t-1}（惯性先验平滑动作）
- --rollout-len K + --ss-prob：多步展开 + scheduled sampling，
  首步真历史、后续步按概率用真历史或自预测回传（detach 截断），
  治 exposure bias；dataset 多步样本返回 {steps:[...]}，自定义 collate
- 旧 checkpoint getattr 默认 False 兼容；pybot 闭环/部署链零改动

R4（新增 evaluate.py）：
- 留出 episode 开环滚动预测，复刻闭环口径（图像真值滚动、动作自预测回写）
- 5 个闭环代理指标：overall_mse/error_growth(发散)/error_curve/
  smoothness_ratio(平滑)/oob_rate(越界，数据经验界 min/max+margin)
- 支持 --compare A/B 对比与 --output JSON 报告
- 端到端验证：正确捕捉开环发散(单步 MSE 盲区)与残差平滑收益

新增 17 用例（R1×10 + R4×7），全量 100 passed 无回归
 2026-08-14 07:52:22 +08:00
qing 823e91a30e fix(actpred): 修复 HEF 帧归一化误判与部署图数值不等价，补齐 P3 审计项 
- hailo_infer: 帧归一化判定改为量化网格 dequant(0)（旧启发式把归一化
  帧当原始像素喂入，图像路径饱和破坏；实机 max_diff 2.55→0.37，
  img 敏感性 1.44→22.26）
- export_deploy: pool kernel 由卷积真实输出尺寸探测（H//16 在 1080
  高度下静默丢弃末行）；mobilenet backbone 给出明确报错
- mt_parser: @Action 为文件末位块时解析成功，不再静默丢数据
- config: checkpoint train 段未知键/非 dict 校验；init-from 兼容性
  警告助手（normalize/action_dim），train 与 pretrain 共用
- dataset: stats 文件形状校验；predict: 移除误导性 --action-dim
- dfc_compile: --frame-count 参数化（原硬编码 3 帧）
- gen_calibration: 旧模式校准图像改分块 memmap 生成（1080p 原一次性
  分配 ~600MB）
- _npu_test: torch 参考反归一化对齐后再与 HEF 比较
- 单测 81→90 全过；README 与测速报告更新为验证轮次数据
 2026-08-13 15:22:34 +08:00
qing 91b30040c7 refactor(actpred): 模型输入尺寸 image_size → image_width/image_height，默认 1920×1080 
config/model/dataset/train/pretrain/predict/export 全链路适配非方形输入，
hailo_infer/onnx_infer 从模型元数据动态推导宽高；旧 224 checkpoint 配置键
不兼容（重训后替换）。Pi 5 CPU 冒烟验证 1080p 训练可行（~4.75s/步 batch=2）。
 2026-08-13 02:19:30 +08:00
qing d17677bade fix(actpred): ONNX opset 升级 + NumPy 兼容 + 断点续训 + MobileNetV2 离线弹性 
- export_onnx: opset 17→18，dynamic_axes 改 dynamic_shapes 消除弃用警告
- predict: action_stats 改为 torch tensor，消除 NumPy 2.0 __array_wrap__ 警告
- train/pretrain: 每 epoch 保存 last.pt，新增 --resume 断点续训练
- model: MobileNetEncoder 下载失败时回退到已缓存权重
- _set.sh: 安装时预缓存 MobileNetV2 权重，失败给出明确指引
- test: 新增 TestResumeCheckpoint（2 用例），总计 58 测试全绿
 2026-08-10 04:07:37 +00:00
qing 4dd25486f8 feat(actpred): 多帧注意力架构改造（Transformer 替换 concat 融合，支持多帧图像+历史动作序列） 2026-08-09 18:17:03 +00:00
qing 63cfdd2066 actpred: 两轮代码审计修复与文档合并 
- 第 1 轮安全审计修复: F-1~F-10（路径校验、预训练架构修正等）
- 第 2 轮复审修复 11 项: 3 项上轮修复不完整（R01 checkpoint 键校验/
  R02 fused_hidden_dim 值域/R03 pretrained=False）+ 8 项新问题
  （actions.npy 形状校验、帧数警告、CLI 值域校验、stats 形状与路径、
  onnxscript 依赖、归一化语义、解析去重）
- 单元测试由 17 扩展至 51 用例（50 通过 + 1 环境性跳过）
- 审计文档两轮合并至 actpred_CODE_AUDIT_20260808.md，更新 INDEX
 2026-08-08 19:37:41 +00:00
qing 3d03f7a1ce actpred: 代码审计（16项发现全部修复）+ 文档更新 
审计报告: docs/reviews/actpred_CODE_AUDIT_20260808.md
- P0(2项): episode索引错位(dataset.py)、推理归一化静默失败(predict.py)
- P1(6项): 空训练集校验、图像自然排序、空样本防御、形状校验、
  MobileNet下载错误提示、stats路径校验
- P2(8项): README示例修正、公共属性、glob优化、版本约束、
  单元测试(17项)、GPU安装说明、BooleanOptionalAction、ONNX验证

新增文件: actpred/test_actpred.py (17项单元测试, 全部通过)
更新文档: README.md配置表扩充、INDEX.md、审计报告修复总结
 2026-08-08 16:05:01 +00:00
qing 73b72d6889 fix(actpred): 修复归一化统计不一致等 5 项问题并增强可复现性 
- train/val 归一化统计量改为仅用训练集计算并落盘复用，修复 val loss 不可信
- predict.py 统计文件路径改用 os.path 处理，修复跨平台与无分隔符路径问题
- dataset.py jpg/png 混合时统一按文件名排序，保证时间顺序
- 新增 --seed 全局随机种子（含 DataLoader generator），训练可复现
- 新增 --max-grad-norm 梯度裁剪（默认 1.0），防 GRU 梯度爆炸
- get_episode_count 与数据集目录过滤条件对齐，避免无效目录导致索引错位
- 空验证集返回 inf 并保底保存最终权重，避免伪造 best 模型
- 清理 export_onnx.py 重复分支死代码
 2026-08-08 14:00:49 +00:00
qing 575c2a27a4 feat(actpred): 动作预测模块入库（PyTorch 训练/预测/ONNX 导出） 2026-08-08 06:25:06 +00:00