qing/blackbird
3
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
727 Commits 2 Branches 0 Tags
9179281420f2e8b77da02d6ce0ceb6ee1bc5d8cb
Commit Graph
22 Commits
Author SHA1 Message Date
qing 9179281420 fix(pybot×actpred): v3 审计 P2 清零——验收链 fixed_range + 导出断言 + overrun 节流 
- v3-P2-1: _npu_test/_onnx_validate 按 normalize_mode 分支（fixed_range 免 stats，
  HailoPredictor 透传模式，torch 参考同口径反归一化）
- v3-P2-2: export_deploy/export_onnx 一致性 diff 超 1e-4 即 sys.exit（P2-f 闭环）
- v3-P2-3: run_loop overrun 告警节流（第1次+每100次），降 hz 建议仅 >10% 输出
- P2-a1: default_column_weights 扩展列（action_dim>18）默认 1.0
- P2-c: 补 predictor 异常清理路径测试（异常传播 + finally 落盘）
- P2-d/P2-e: Resize 口径与 resume scheduler T_max 语义文档化
- R2-4: _set.sh 安装后断言 CPU 版 torch，误装 CUDA 即拦截
测试: pybot 89 passed (+1)、actpred 148 passed/18 skipped
 2026-08-14 23:01:56 +08:00
qing 35ee614ca9 fix(pybot×actpred): v3 审计 P1 修复 3 项——零依赖承诺 + ONNX 元数据/残差全链路 
- robot.py numpy 恢复函数级 lazy import，纯 .mt 脚本执行不再需要 numpy（v3-P1-1）
- export_onnx 写入训练配置元数据；onnx_infer 自动识别 normalize_mode/predict_delta 并支持残差加回（v3-P1-2）
- pybot --loop 补 .onnx 后端分支，zscore 缺 action_stats.npy 时告警（P2-a 闭环）
- 回归测试：actpred TestOnnxMetadata +7、pybot 零依赖导入 +1（88/148 全绿）
- 附 v3 审计报告：13 项 v2 修复回归核对 + 7 项新发现（P0-2 遗留 + P2/P3 六项）
 2026-08-14 22:13:06 +08:00
qing 85bf68f505 feat(actpred): 固定范围归一化 + 逐列加权损失，附 pybot*actpred 审计修复 
新增 action_norm.py 固定物理范围 min-max 归一化，无 stats 文件零状态部署；train.py 引入 _weighted_mse 逐列加权（舵机 1.0/spk 0.2/保留位 0.0）。审计修复: P0-1 pybot 读 normalize_mode, R2-1 NaN 阻断 best, P2-a 后端大小写不敏感, P1-3 utf-8-sig BOM, R1-1 data_dir 覆盖, R2-7 _run.sh 报错, R2-3 空 val 存 best.pt, P2-a2 误报警, R1-2 合并 parse_action_history, P2-b 合并 numpy import。评估修正 oob 物理界+error_growth 按 episode 中位数。推理部署全链支持 fixed_range。
 2026-08-14 18:26:03 +08:00
qing 7ec8c9d0e9 fix(actpred): 训练时 action stats 完整路径传给 val_ds，checkpoint 存裸文件名 
normalize_actions 默认改为 True 后暴露的潜伏 bug：stats 保存到
checkpoint_dir 后，cfg 只留裸文件名，val_ds 按 cwd 解析导致
FileNotFoundError。现改为验证集用完整路径构建，checkpoint 配置
存裸文件名（推理端按 checkpoint 目录解析）。
同步修正 test_warn_init_from_mismatch 对默认值的隐式依赖。
 2026-08-14 06:31:15 +00:00
qing cd4d512ecd feat(pybot×actpred): R2 多 MPU6050 支持——8×N 姿态向量拼接与归一化平铺 
- robot：_find_imus/_read_imus 按脚本块行序收集拼接 ≤4 个 MPU6050，_pad_imu 对齐 predictor.imu_dim

- recorder/imu_norm/dataset/config：imu.npy 宽度 8×N，归一化除数按传感器数平铺

- 测试：双传感器闭环拼接/pad/truncate、宽布局录制、16 维归一化加载
 2026-08-14 09:34:39 +08:00
qing a2ba797410 feat(pybot×actpred): R2 姿态反馈方案一——MPU6050 独立 IMU token 全链路 
- pybot：recorder 逐帧落盘 imu.npy（T×8，roll,pitch,ax,ay,az,gx,gy,gz，与帧/动作同调用对齐）；run_loop 对声明 imu_dim 的 predictor 以 predict(..., imu=) 调用（鸭子类型，旧两参调用向后兼容）

- actpred：新增 --imu-dim；model 序列 [img×F, act×H, (IMU), PRED]（imu_dim>0 时 F+H+2，IMU token 位于 PRED 前）；dataset/train 读 imu.npy（缺失按零向量兜底）；predict/ONNX/Hailo 三后端与 export/gen_calibration/dfc_compile/_npu_test 部署链适配 imu 输入

- 姿态按物理量程固定缩放归一化（imu_norm.py，训练/推理共用，零状态）

- 测试：actpred 128 passed / pybot loop+recorder 28 passed
 2026-08-14 09:07:24 +08:00
qing cc2f7bca79 feat(actpred): R1 残差预测+多步展开训练 与 R4 离线评估基准 
R1（可选开关，默认关，向后兼容）：
- --predict-delta：残差预测，target=Δ=a[t]-a[t-1]（归一化空间），
  推理端 predict 自动加回 a_{t-1}（惯性先验平滑动作）
- --rollout-len K + --ss-prob：多步展开 + scheduled sampling，
  首步真历史、后续步按概率用真历史或自预测回传（detach 截断），
  治 exposure bias；dataset 多步样本返回 {steps:[...]}，自定义 collate
- 旧 checkpoint getattr 默认 False 兼容；pybot 闭环/部署链零改动

R4（新增 evaluate.py）：
- 留出 episode 开环滚动预测，复刻闭环口径（图像真值滚动、动作自预测回写）
- 5 个闭环代理指标：overall_mse/error_growth(发散)/error_curve/
  smoothness_ratio(平滑)/oob_rate(越界，数据经验界 min/max+margin)
- 支持 --compare A/B 对比与 --output JSON 报告
- 端到端验证：正确捕捉开环发散(单步 MSE 盲区)与残差平滑收益

新增 17 用例（R1×10 + R4×7），全量 100 passed 无回归
 2026-08-14 07:52:22 +08:00
qing 8af8dec1b0 refactor(actpred): 默认图像分辨率改回 640×480 
实机测速显示 1080p 采集的预处理缩放（约 45ms）主导端到端延迟
（测速报告 §6.1），640×480 下端到端 18.6ms，与 NPU/ORT 推理开销
更匹配。640×480 亦能被 16 整除，部署导出池化无损失。
已有 checkpoint 自带配置不受影响，仅改新训练默认值。
 2026-08-13 15:25:09 +08:00
qing 823e91a30e fix(actpred): 修复 HEF 帧归一化误判与部署图数值不等价，补齐 P3 审计项 
- hailo_infer: 帧归一化判定改为量化网格 dequant(0)（旧启发式把归一化
  帧当原始像素喂入，图像路径饱和破坏；实机 max_diff 2.55→0.37，
  img 敏感性 1.44→22.26）
- export_deploy: pool kernel 由卷积真实输出尺寸探测（H//16 在 1080
  高度下静默丢弃末行）；mobilenet backbone 给出明确报错
- mt_parser: @Action 为文件末位块时解析成功，不再静默丢数据
- config: checkpoint train 段未知键/非 dict 校验；init-from 兼容性
  警告助手（normalize/action_dim），train 与 pretrain 共用
- dataset: stats 文件形状校验；predict: 移除误导性 --action-dim
- dfc_compile: --frame-count 参数化（原硬编码 3 帧）
- gen_calibration: 旧模式校准图像改分块 memmap 生成（1080p 原一次性
  分配 ~600MB）
- _npu_test: torch 参考反归一化对齐后再与 HEF 比较
- 单测 81→90 全过；README 与测速报告更新为验证轮次数据
 2026-08-13 15:22:34 +08:00
qing 316758d80e fix(actpred): 修复动作归一化统计量未覆盖 history 导致的 z-score 爆炸 
两个问题（本轮归一化编译链路上实测暴露）：

1. 统计量只按 targets 计算：targets 中恒定的列 std 落到 1e-8
   地板值，而 history 窗口可能含该列的其他取值（.mt 脚本前几行），
   z-score 爆炸（实测 (90-45)/1e-8=4.5e9）→ act_tokens ±1e9 →
   DFC optimize 报 NegativeSlopeExponentNonFixable（desired shift
   23 > 15 data bits）。pretrain_mt.py 与 dataset.py 的统计量改为
   history∪target 联合计算，修复后校准数据 max|z| = 4.77。

2. action_stats_path 存成含目录的相对路径（"./checkpoints/
   action_stats.npy"），推理端（predict/export_deploy/gen_calibration）
   按 checkpoint 目录解析时二次拼接成 checkpoints/./checkpoints，
   导出直接 FileNotFoundError。train.py/pretrain_mt.py 改存裸文件名
   "action_stats.npy"（stats 与 checkpoint 同目录，语义一致）。

新增回归测试 test_stats_cover_history_values（history 独有取值不
得被 1e-8 地板值打爆），全量 77 通过。

归一化重编译全链路通过：token 量级 |img|=0.53 |act|=2.93 健康，
optimize 通过，连通性检查 5/5，HEF 2.02MB 已部署 Pi 待 _npu_test
复验。
 2026-08-13 06:43:51 +00:00
qing 8c58770280 fix(actpred): 修复 DFC 连通性检查在 5.3 HAR 下被静默跳过的缺陷 
DFC 5.3 的 HAR 不含 .edges 文件，原检查从未真正执行（仅打印
WARNING 跳过），输入断连的 HEF 仍可编译通过。改为解析主 hn 图
（layer output 边）做 BFS 可达性验证，任一输入层不可达输出层即
报错阻断；har_input_layer_names 同步改为数字后缀排序并优先取
主图 hn。新增 3 个单测（排序/通过/断连拦截），全量 76 通过。

本轮 224×224 重编译实测：优化后 HAR 5 输入均可达输出层（此前
64 版 HEF 输入不敏感的连通性隐患已消除）；但 NPU 复验输出仍不
敏感，pred_token 边缘 scale=1965.92 表明抖动校准未生效，根因
待查（见后续提交）。
 2026-08-13 05:13:18 +00:00
qing 14964b9574 fix(actpred): 修复 Hailo HEF 编译链路的输入断连与封装问题 
- hailo_infer: 帧输入按 input_layerN 排序绑定（vstream 报告顺序实测
  为 1,5,4,3,2，按报告顺序会 frame1/frame2 错位），新增 --pred-token
- gen_calibration: pred_token 校准改为学习值 ±30% 抖动，修复常量
  校准量化退化（scale=18571.7，任何输入都被量化成 0）
- export_deploy: 新增 --pred-token-out 保存学习值供推理端喂入
- dfc_compile: parser/optimize 后自动检查输入层连通性，断开即报错
- 新增 _npu_test.py（NPU 4 角敏感性复验）与 _onnx_validate.py
  （编译前 ONNX 数值门槛），test_actpred 补乱序帧序用例
 2026-08-13 12:22:26 +08:00
qing 91b30040c7 refactor(actpred): 模型输入尺寸 image_size → image_width/image_height，默认 1920×1080 
config/model/dataset/train/pretrain/predict/export 全链路适配非方形输入，
hailo_infer/onnx_infer 从模型元数据动态推导宽高；旧 224 checkpoint 配置键
不兼容（重训后替换）。Pi 5 CPU 冒烟验证 1080p 训练可行（~4.75s/步 batch=2）。
 2026-08-13 02:19:30 +08:00
qing 36feeb4b9f feat(actpred): 新增 ONNX Runtime 推理后端 OnnxPredictor 
维度从 ONNX session 元数据自动推导，预处理复现训练流水线；Pi 5 实测
12ms/次含预处理（纯推理 5.9ms），与 torch 前向差异 <1e-5。新增 6 个
单测（真实导出 ONNX 对齐验证），全量 71 测试通过。
 2026-08-13 01:54:06 +08:00
qing ab60b3cafb feat(actpred): 新增 Hailo HEF 推理封装 HailoPredictor，附 AI HAT 2 调研与测速报告 
零 torch 依赖（hailo_platform + numpy + PIL），vstream 形状/量化参数从
HEF 动态推导，支持 uint8 量化边缘与动作归一化 stats；新增 6 个免硬件
单测（fake hailo_platform 注入）。调研报告记录 hailort 5.x 新 API 踩坑，
测速报告给出 CPU(ORT 5.9ms) vs NPU(resnet50 4.29ms) 基准与部署建议。
 2026-08-13 01:41:42 +08:00
qing 0aa0710a9e fix: 统一 .mt 首行 '-' 占位符语义——actpred 对齐 pybot/bot4cj 运行时（填 0），弃用 @Servo max 列填充 2026-08-11 16:30:39 +08:00
qing 6d79fc919f update: actpred 默认图像分辨率 64→224 2026-08-11 02:35:22 +08:00
qing d17677bade fix(actpred): ONNX opset 升级 + NumPy 兼容 + 断点续训 + MobileNetV2 离线弹性 
- export_onnx: opset 17→18，dynamic_axes 改 dynamic_shapes 消除弃用警告
- predict: action_stats 改为 torch tensor，消除 NumPy 2.0 __array_wrap__ 警告
- train/pretrain: 每 epoch 保存 last.pt，新增 --resume 断点续训练
- model: MobileNetEncoder 下载失败时回退到已缓存权重
- _set.sh: 安装时预缓存 MobileNetV2 权重，失败给出明确指引
- test: 新增 TestResumeCheckpoint（2 用例），总计 58 测试全绿
 2026-08-10 04:07:37 +00:00
qing 4dd25486f8 feat(actpred): 多帧注意力架构改造（Transformer 替换 concat 融合，支持多帧图像+历史动作序列） 2026-08-09 18:17:03 +00:00
qing 63cfdd2066 actpred: 两轮代码审计修复与文档合并 
- 第 1 轮安全审计修复: F-1~F-10（路径校验、预训练架构修正等）
- 第 2 轮复审修复 11 项: 3 项上轮修复不完整（R01 checkpoint 键校验/
  R02 fused_hidden_dim 值域/R03 pretrained=False）+ 8 项新问题
  （actions.npy 形状校验、帧数警告、CLI 值域校验、stats 形状与路径、
  onnxscript 依赖、归一化语义、解析去重）
- 单元测试由 17 扩展至 51 用例（50 通过 + 1 环境性跳过）
- 审计文档两轮合并至 actpred_CODE_AUDIT_20260808.md，更新 INDEX
 2026-08-08 19:37:41 +00:00
qing 45e019952e actpred: action_dim改18 + .mt脚本预训练入口 
- config.py: action_dim默认值 8→18（对齐bot4cj 18列）
- mt_parser.py: 轻量级.mt @Action解析器（支持-占位符前向填充）
- pretrain_mt.py: 预训练入口（零图像占位，checkpoint兼容现有推理）
- _run.sh: 新增pretrain子命令
- README.md: 新增预训练文档 + action_dim说明
- test_actpred.py: 测试断言更新为18
 2026-08-08 17:09:14 +00:00
qing 3d03f7a1ce actpred: 代码审计（16项发现全部修复）+ 文档更新 
审计报告: docs/reviews/actpred_CODE_AUDIT_20260808.md
- P0(2项): episode索引错位(dataset.py)、推理归一化静默失败(predict.py)
- P1(6项): 空训练集校验、图像自然排序、空样本防御、形状校验、
  MobileNet下载错误提示、stats路径校验
- P2(8项): README示例修正、公共属性、glob优化、版本约束、
  单元测试(17项)、GPU安装说明、BooleanOptionalAction、ONNX验证

新增文件: actpred/test_actpred.py (17项单元测试, 全部通过)
更新文档: README.md配置表扩充、INDEX.md、审计报告修复总结
 2026-08-08 16:05:01 +00:00