qing/blackbird
3
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
696 Commits 2 Branches 0 Tags
14964b9574ee3d80420c8d0e42c0fca1f047fa79
Commit Graph
15 Commits
Author SHA1 Message Date
qing 14964b9574 fix(actpred): 修复 Hailo HEF 编译链路的输入断连与封装问题 
- hailo_infer: 帧输入按 input_layerN 排序绑定（vstream 报告顺序实测
  为 1,5,4,3,2，按报告顺序会 frame1/frame2 错位），新增 --pred-token
- gen_calibration: pred_token 校准改为学习值 ±30% 抖动，修复常量
  校准量化退化（scale=18571.7，任何输入都被量化成 0）
- export_deploy: 新增 --pred-token-out 保存学习值供推理端喂入
- dfc_compile: parser/optimize 后自动检查输入层连通性，断开即报错
- 新增 _npu_test.py（NPU 4 角敏感性复验）与 _onnx_validate.py
  （编译前 ONNX 数值门槛），test_actpred 补乱序帧序用例
 2026-08-13 12:22:26 +08:00
qing 2068319c3a fix(actpred): 落实 0812 代码审计 N-2/N-3 修复项 
- 默认 batch_size 32→4（1920×1080 下 CPU/Pi 内存不可行）
- 速度基准报告补 1080p 复测注记（CPU 不可实时，需 NPU 或降分辨率）
- 附重写后首轮全量审计报告（含 N-1 checkpoint 兼容性回归记录）
 2026-08-13 01:34:00 +00:00
qing 0d16832612 feat(actpred): 新增 Hailo DFC 编译链路，ONNX → HEF 全流程打通 
训练态 ONNX（5D 输入/AdaptiveAvgPool/注意力 head reshape）无法被 DFC 解析，
新增 export_deploy.py 做权重不变的等价图改造：帧分支展开 CNN、img_proj
折叠为 1x1 卷积、注意力按头展开、全程 (1,1,S,d) 无 transpose 布局。
dfc_compile.py 一键走 parser→optimize→compiler（DFC 5.3），
gen_calibration.py --deploy 生成部署布局校准集。
已验证 110 层完整网络编译为 hailo10h HEF（1.8MB，4 contexts）。
 2026-08-13 01:33:58 +00:00
qing 91b30040c7 refactor(actpred): 模型输入尺寸 image_size → image_width/image_height，默认 1920×1080 
config/model/dataset/train/pretrain/predict/export 全链路适配非方形输入，
hailo_infer/onnx_infer 从模型元数据动态推导宽高；旧 224 checkpoint 配置键
不兼容（重训后替换）。Pi 5 CPU 冒烟验证 1080p 训练可行（~4.75s/步 batch=2）。
 2026-08-13 02:19:30 +08:00
qing 36feeb4b9f feat(actpred): 新增 ONNX Runtime 推理后端 OnnxPredictor 
维度从 ONNX session 元数据自动推导，预处理复现训练流水线；Pi 5 实测
12ms/次含预处理（纯推理 5.9ms），与 torch 前向差异 <1e-5。新增 6 个
单测（真实导出 ONNX 对齐验证），全量 71 测试通过。
 2026-08-13 01:54:06 +08:00
qing ab60b3cafb feat(actpred): 新增 Hailo HEF 推理封装 HailoPredictor，附 AI HAT 2 调研与测速报告 
零 torch 依赖（hailo_platform + numpy + PIL），vstream 形状/量化参数从
HEF 动态推导，支持 uint8 量化边缘与动作归一化 stats；新增 6 个免硬件
单测（fake hailo_platform 注入）。调研报告记录 hailort 5.x 新 API 踩坑，
测速报告给出 CPU(ORT 5.9ms) vs NPU(resnet50 4.29ms) 基准与部署建议。
 2026-08-13 01:41:42 +08:00
qing 0aa0710a9e fix: 统一 .mt 首行 '-' 占位符语义——actpred 对齐 pybot/bot4cj 运行时（填 0），弃用 @Servo max 列填充 2026-08-11 16:30:39 +08:00
qing 6d79fc919f update: actpred 默认图像分辨率 64→224 2026-08-11 02:35:22 +08:00
qing d17677bade fix(actpred): ONNX opset 升级 + NumPy 兼容 + 断点续训 + MobileNetV2 离线弹性 
- export_onnx: opset 17→18，dynamic_axes 改 dynamic_shapes 消除弃用警告
- predict: action_stats 改为 torch tensor，消除 NumPy 2.0 __array_wrap__ 警告
- train/pretrain: 每 epoch 保存 last.pt，新增 --resume 断点续训练
- model: MobileNetEncoder 下载失败时回退到已缓存权重
- _set.sh: 安装时预缓存 MobileNetV2 权重，失败给出明确指引
- test: 新增 TestResumeCheckpoint（2 用例），总计 58 测试全绿
 2026-08-10 04:07:37 +00:00
qing 4dd25486f8 feat(actpred): 多帧注意力架构改造（Transformer 替换 concat 融合，支持多帧图像+历史动作序列） 2026-08-09 18:17:03 +00:00
qing 63cfdd2066 actpred: 两轮代码审计修复与文档合并 
- 第 1 轮安全审计修复: F-1~F-10（路径校验、预训练架构修正等）
- 第 2 轮复审修复 11 项: 3 项上轮修复不完整（R01 checkpoint 键校验/
  R02 fused_hidden_dim 值域/R03 pretrained=False）+ 8 项新问题
  （actions.npy 形状校验、帧数警告、CLI 值域校验、stats 形状与路径、
  onnxscript 依赖、归一化语义、解析去重）
- 单元测试由 17 扩展至 51 用例（50 通过 + 1 环境性跳过）
- 审计文档两轮合并至 actpred_CODE_AUDIT_20260808.md，更新 INDEX
 2026-08-08 19:37:41 +00:00
qing 45e019952e actpred: action_dim改18 + .mt脚本预训练入口 
- config.py: action_dim默认值 8→18（对齐bot4cj 18列）
- mt_parser.py: 轻量级.mt @Action解析器（支持-占位符前向填充）
- pretrain_mt.py: 预训练入口（零图像占位，checkpoint兼容现有推理）
- _run.sh: 新增pretrain子命令
- README.md: 新增预训练文档 + action_dim说明
- test_actpred.py: 测试断言更新为18
 2026-08-08 17:09:14 +00:00
qing 3d03f7a1ce actpred: 代码审计（16项发现全部修复）+ 文档更新 
审计报告: docs/reviews/actpred_CODE_AUDIT_20260808.md
- P0(2项): episode索引错位(dataset.py)、推理归一化静默失败(predict.py)
- P1(6项): 空训练集校验、图像自然排序、空样本防御、形状校验、
  MobileNet下载错误提示、stats路径校验
- P2(8项): README示例修正、公共属性、glob优化、版本约束、
  单元测试(17项)、GPU安装说明、BooleanOptionalAction、ONNX验证

新增文件: actpred/test_actpred.py (17项单元测试, 全部通过)
更新文档: README.md配置表扩充、INDEX.md、审计报告修复总结
 2026-08-08 16:05:01 +00:00
qing 73b72d6889 fix(actpred): 修复归一化统计不一致等 5 项问题并增强可复现性 
- train/val 归一化统计量改为仅用训练集计算并落盘复用，修复 val loss 不可信
- predict.py 统计文件路径改用 os.path 处理，修复跨平台与无分隔符路径问题
- dataset.py jpg/png 混合时统一按文件名排序，保证时间顺序
- 新增 --seed 全局随机种子（含 DataLoader generator），训练可复现
- 新增 --max-grad-norm 梯度裁剪（默认 1.0），防 GRU 梯度爆炸
- get_episode_count 与数据集目录过滤条件对齐，避免无效目录导致索引错位
- 空验证集返回 inf 并保底保存最终权重，避免伪造 best 模型
- 清理 export_onnx.py 重复分支死代码
 2026-08-08 14:00:49 +00:00
qing 575c2a27a4 feat(actpred): 动作预测模块入库（PyTorch 训练/预测/ONNX 导出） 2026-08-08 06:25:06 +00:00