qing/blackbird
3
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
760 Commits 2 Branches 0 Tags
40523f6f8a139799e28be7023b28dd27101e9af0
Commit Graph
760 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
qing 40523f6f8a feat(actpred): HailoPredictor cv2.LUT 快路径——归一化+量化合并，端到端 3.3× 
帧预处理从 26.5ms 降至 1.7ms（15.8×），端到端 52.4 → 16.0ms。惰性导入 cv2、
无 cv2 自动回退 float 路径；非 uint8/非 3 通道/尺寸不匹配输入走 PIL 转换
与 float 路径语义一致（7 类输入实测 max_diff=0）。OpenCV 5.0 仅支持单通道
LUT，逐通道应用后 merge。依赖加入 requirements.txt。
 2026-08-17 15:10:40 +08:00
qing 8a5162c912 docs: 修订 Hailo 预处理优化方案——查表法实测证伪，改合并乘加为主 
原型实测：numpy 高级索引查表无加速（26.6 vs 28.5ms），预期 18-20ms 不成立。
主方案改为合并系数乘加（-5ms，0 LSB 等价），cv2.LUT 列为可选激进路径；
预期收益修正为 ~47ms（纯 numpy）/ ~25-30ms（cv2）。
 2026-08-17 14:48:26 +08:00
qing 116d6b63bd docs: actpred Hailo 预处理优化方案——查表法合并归一化+量化 
新 640×480 数据集实测端到端 52.4ms，预处理 35.9ms 占 68%（float 归一化
27.2ms + 量化绑定 9.1ms，存在中间 float 冗余）。方案：256 项查表合并
归一化与量化（数值等价），预计预处理降至 3-6ms、端到端 ~18-20ms。
 2026-08-17 14:41:15 +08:00
qing 0fa32cb5e7 feat(actpred): HailoPredictor 适配 v4 onehot HEF——1864 logits 解码 + 固定列覆盖 
v4 onehot 模型 HEF 输出 (1,1,1864)，原回归假设（输出=action_dim）导致
输入分类与维度校验失败。_classify_inputs 改为 pred_token 先判（s[1]==1）、
其余 3 维归 history；_derive_dims 识别 TOTAL_BINS 输出；predict 经 bins.decode
期望值解码并固定权重 0 列（与 predict.py 同语义），新增 column_weights 参数。
_npu_test.py 指向 v4 并增加 onehot 参考分支，NPU 实测 4 角 PASS、
HEF vs torch max_diff 0.5°。
 2026-08-17 14:29:21 +08:00
qing 63c29680ce docs: panel 微服务开发文档——背景视图聚合控件片段 
设计稿：panel:9201 提供背景视图，各服务以 /panel-widget/<id>
暴露前端片段，面板拉取聚合后以 iframe 沙箱插入；含 postMessage
协议、BFF 转发、CSP 分层隔离与 M1-M4 实现阶段划分
 2026-08-17 00:43:02 +00:00
qing 76afa37c6b fix(pybot): 录制 spk.F 恒 0 改为动态列查找——不依赖固定列号 
原 recorder 按固定索引 SPK_F_COL=10 写 0，脚本列布局变化时会写错列；
改为 RobotStruct 录制前按设备名+参数名动态定位 frequency 列（无 Speaker
块返回 None 跳过），与模型固定输出契约一致，语义与 286e632 相同。
 2026-08-16 16:17:55 +00:00
qing 293d71e86b fix(actpred): gen_calibration --deploy 的 is_range_mode 未导入即使用 
import 在 if 分支内滞后于首次调用，fixed_range 归一化模型生成校准集
时直接 NameError；导入提前到 build_deploy_set 开头。
 2026-08-16 16:17:10 +00:00
qing d8b601ab9a feat(bot4cj/scripts): 12 个 mtc DSL 源声明 Camera——录制免注入 
动作脚本统一加入 Camera("cam0",640,480,30,8)（record_stand.py 已有），
编译产物自带 @Camera 块，pybot --record 直接可录，取代 v2 的
"注入式录制"变体方案。手写 .mt 保持不动（bot4cj 共享、美化格式）。
 2026-08-15 19:48:16 +08:00
qing 286e632288 fix(pybot): 录制 spk.F 列恒 0——与模型 FIXED_OUTPUT 对齐 
F2 方案下推理端 spk.F 固定输出 0（bins.FIXED_OUTPUT），而脚本真值
可达 1000Hz，保留真值产生"模型 0 vs 数据 1000"的评估伪影（14.5K）。
录制时写常量 0 消除伪影；spk.delay 微步录制下恒 10.0 已与模型一致。
data_v3（296MB 可复现录制产物）加入 .gitignore。
 2026-08-15 19:48:09 +08:00
qing 37feb09185 fix(actpred): 固定 0 列未被覆盖——掩码按权重而非常量值 
fixed_zero_columns 对 spk.F 返回常量 0，调用处掩码 fixed!=0 将其
排除，spk.F 垃圾预测（69-423Hz）继续进闭环。改为按权重<=0 掩码
覆盖（含固定 0 的列）。修正后舵机闭环 MSE 14477 假象 → 293 真实
（hand 类 55K 是固定 0 vs 真值 1000 的指标伪影）。+1 回归测试。
 2026-08-15 10:02:49 +00:00
qing 8a9a061662 fix(aibox): 子代理返回截断修复——收尾报告自生成替换外部摘要器 2026-08-15 14:27:27 +08:00
qing 0be9e5d0d2 feat(bot4cj/scripts): 13 个 .mt 脚本的 mtc DSL 源码（新格式） 
std/stdd/tilt-r/l/f/b/lie-down/jump/rght-hand/left-hand/left-turn/t0/record_stand 全部转为 Python DSL（mtc 编译器输入），与原 .mt 执行级等价：经 RobotStruct dry-run + EpisodeRecorder 验证，actions.npy 形状一致且逐元素相等，record_stand 的 imu.npy (100,8) 形状一致，编译零告警。

关键语义依据：pybot 微步对舵机列线性插值、对 spk.F 列不插值（行级阶跃），分别对应 SetTo 斜坡段与 Beep 恒值段；首行 delay=200 恒等分解对应 stand() 的 10ms 瞬时到位段。原 .mt 保留未动，可用各文件头注释中的编译命令重新生成。
 2026-08-15 14:25:59 +08:00
qing a80aaabffe feat(actpred): 动作历史角度抖动增强——对抗微步样本相关性 
微动作插值使相邻样本高度相关，有效多样性远低于样本数（过拟合根因
之一）。--action-jitter >0 时对输入历史加高斯噪声（σ=比例×列物理
范围，如 0.01=舵机±1.8°），制造虚拟邻近状态；且与闭环自预测历史
噪声同源，增强反馈鲁棒性。目标保持干净不抖动。默认 0=关，+2 测试。
 2026-08-15 06:15:16 +00:00
qing 01126a5786 feat(mtc): .mt 脚本编译器落地 + pybot 扬声器静音语义 
mtc 新模块：命令式动作脚本（Python DSL）→ .mt 矩阵编译器，非阻塞时间轴 IR（重叠截断/rest 静止值）+ 10ms 栅格化，产物可由 pybot/bot4cj 直接执行；34 测试全绿（含 pybot parser e2e）。

pybot speaker.py：frequency<=0 改为静音节拍（仅 sleep 保时序，不再钳到 min_f 低鸣），对齐仓颉版 sleep 占位语义；mtc Beep 通道 rest=0，段前/段间/段后回落静音，两侧语义闭环。

修复 test_actpred_compatibility 过时断言（99c1bc1 首行分解为重复微步 19→20 帧时漏改，14→15）。

文档三处同步：根 README 回填 memdb/pybot/actpred 并新增 mtc（模块表+端口一览+章节），MODULES/ARCHITECTURE 同步 mtc，新建 mtc/README.md。
 2026-08-15 13:54:47 +08:00
qing 205a60f039 docs: 同步 MODULES/ARCHITECTURE 至 services.yaml 现状（memdb:8011/pybot/libmemdb） 2026-08-15 13:54:47 +08:00
qing 13beba09b4 docs(actpred): 研究方向 R8 细化——三层流水线离线 RL + 样本级验证集报告 
R8 细化：预训练→监督微调→离线 RL 流水线定稿；IQL/CQL/DT 选型对比；
IMU 奖励工程四分量（姿态稳定/抖动/平滑/任务进度）；三阶段落地路径。
新增样本级验证集划分实验报告（整集 60 样本噪声大 → 样本级 142 样本
更稳，F2b 在更难验证集上取得更低 val）。实现：val_split_mode 默认
sample，dataset sample_indices 过滤 + zscore 统计口径保持训练集专属。
 2026-08-15 03:52:27 +00:00
qing 8cf3dd2d93 fix(fsys): dnfs 页面底部中文输入时页面反复横跳 
IME composition 期间每个拼音字母都触发 input 事件，autoResizeTextarea 的塌陷测量（height='auto' 后读 scrollHeight 强制整页同步布局）使页面总高度反复变化，滚到底部时 scrollTop 被浏览器钳制又回弹。

- composition 期间跳过高度调整，compositionend 后统一调一次

- 塌陷测量后补偿被钳制的滚动位置，非 IME 场景（英文/粘贴/删除）同样防跳
 2026-08-15 10:46:50 +08:00
qing 9000bb4b04 docs(actpred): 模型 B zscore 等权稳定基线文档 + spk 两列固定常量 
B 是六模型闭环评估中唯一稳定配置（2445/0.082），固化完整方案作为
部署基线与实验对照基准，并总结归一化系列失败机理（反馈回路需误差
有界且收缩）。配套实现：spk.F/spk.delay 权重归零、推理/反馈固定
常量（bins.FIXED_OUTPUT），拔除闭环发散源，为 B2（zscore+v2）与
F2（onehot+固定）铺路。
 2026-08-15 02:01:04 +00:00
qing 7f21b65428 fix(aibox): FTS5 中文检索 + Token 压缩阈值生效——Compressor 抽离解耦 
- db.py: FTS5 改用 trigram 分词（中文可检索），旧 unicode61 表自动迁移回灌；search_memories 增加 LIKE 兜底（%/_ 转义、MATCH 异常防护）
- conversation_compressor.py: should_compress 补齐 Token 阈值判断（原为死配置），Token 触发时按比例压缩早期消息
- ConversationCompressor 抽离至 subsystems，注入 llm_client 打破与 DeepSeekChat 循环引用；aibox.py 3517→3018 行
- 新增 21 项测试（中文检索/旧表迁移/LIKE 转义/token 估算/压缩流程/失败回退），全量 232 项通过
 2026-08-15 09:51:59 +08:00
qing 26de527a09 feat(memdb×libmemdb): memdb 服务化落地——RPC 服务端 + 构建/测试/部署闭环 
- libmemdb: 补全 flush() 惰性 TTL 驱逐；修复 explicit 误用/头文件缺失/
  时间戳碰撞误删；size()/get_db() 前 flush 消除脏读；三处双重哈希查找
  合并；index_keys 去冗余字段；update(refresh_ttl) 改原地重索引，
  免 remove+insert 的拷贝与重复 flush
- memdb: 重写 RPC 服务端（libmsg RpcServer, :8011, 9 路由, mutex 保护）；
  补全 Makefile/_set.sh/_run.sh 与 --instance/--log-level CLI；
  SIGINT/SIGTERM 优雅退出；注册 services.yaml
- 测试: libmemdb 单元测试 22 例 + memdb RPC 集成测试 12 场景（含并发）
- 清理: 删除误合入的 db2/create_sqlite3.sql 旧版（scripts/ 下为权威版）
 2026-08-15 09:27:12 +08:00
qing a18a7de1ca feat(actpred): 多头 one-hot 分类输出——18 组独立 softmax 头替代连续回归 
分箱（bins.py）：舵机 1°/箱 ×10（180 箱，匹配 0.75° 微动作插值粒度）、
spk.F/spk.delay 对数 32 箱 ×2，共 1864 logits；保留位无头。软标签
（onehot_sigma=1.0 高斯扩散）缓解小样本数据稀疏；期望值解码恢复
连续分辨率（箱生活在原始空间，无反变换放大）。

训练损失为逐头加权 CE（列权重沿用），闭环反馈经解码→范围归一化
回写历史；predict 输出仍为 18 维原始量纲，pybot 契约零变化。

结构性消除尺度放大（每箱等距）与物理界问题（箱天然有界），
为 A-E 归一化实验失败后的正解路线。要求 normalize_mode 为范围类，
与 predict_delta 互斥。测试 +10（含 CLI 映射回归）。
 2026-08-15 00:17:58 +00:00
qing 99c1bc1739 fix(pybot×actpred): 微动作录制时间轴均匀化——首行分解为重复步，delay 列权重归零 
pybot run()：带 delay 的首行（无前序状态）不再单步执行，分解为
N=delay//10 个重复微步（插值退化恒等），录制数据全 10ms 均匀节拍，
delay 列恒 10ms——行级时长信息已隐式编码在步数中，消除首行 200ms
造成的时间采样不均（frame_len/history_len 等间隔假设被破坏）。

actpred default_column_weights：spk.delay 权重 0.2→0.0（步级恒值列
无信号，与保留位同级）；spk.F 保持 0.2。

新录制数据集（952 样本，delay 恒 10）存于 data/pybot_record_v2（不入库）。
 2026-08-14 21:56:01 +00:00
qing 1cf428f384 feat(actpred): log_range 归一化——spk 两列对数尺度修正精度错配 
fixed_range 线性 min-max 下常用值挤在低端（10Hz→0.002），闭环反馈
中小绝对误差=大相对误差（模型 C/D 发散根因）。新增 normalize_mode=
log_range：spk.F/spk.delay 用 log10(1+x) 对数尺度（10Hz→0.27），
舵机列保持线性。全链路接入（dataset/pretrain/predict/onnx/hailo/
calibration/export），与 v3 审计 none 模式/元数据自动识别合并。
 2026-08-14 21:38:14 +00:00
qing fc310c9081 Merge branch 'dev_shufeng2012' into main 
合入 dev_shufeng2012 分支：libmemdb 头文件 KV 库 + memdb 重构 + db2 SQLite schema

冲突解决：
- _inst.sh：保留 main 版本（已有 captcha2/smtp3/liblogc，dev 新增项重叠）

合入内容：
- libmemdb/：C++20 模板头文件 Memdb<T,U>（list+unordered_map+multiset，TTL KV 存储）
- memdb/：重构为 libmemdb 客户端 + RPC 服务骨架（含 src/memdb.cpp，Makefile/_run.sh/_set.sh 空文件占位）
- db2/create_sqlite3.sql：Users/Notes/Logs 三表 schema（含四个索引）

测试：pybot 89 passed，actpred 148 passed/18 skipped（全绿）
 2026-08-15 04:58:29 +08:00
qing 9179281420 fix(pybot×actpred): v3 审计 P2 清零——验收链 fixed_range + 导出断言 + overrun 节流 
- v3-P2-1: _npu_test/_onnx_validate 按 normalize_mode 分支（fixed_range 免 stats，
  HailoPredictor 透传模式，torch 参考同口径反归一化）
- v3-P2-2: export_deploy/export_onnx 一致性 diff 超 1e-4 即 sys.exit（P2-f 闭环）
- v3-P2-3: run_loop overrun 告警节流（第1次+每100次），降 hz 建议仅 >10% 输出
- P2-a1: default_column_weights 扩展列（action_dim>18）默认 1.0
- P2-c: 补 predictor 异常清理路径测试（异常传播 + finally 落盘）
- P2-d/P2-e: Resize 口径与 resume scheduler T_max 语义文档化
- R2-4: _set.sh 安装后断言 CPU 版 torch，误装 CUDA 即拦截
测试: pybot 89 passed (+1)、actpred 148 passed/18 skipped
 2026-08-14 23:01:56 +08:00
qing ad3a624b4c docs(actpred): P0-2 README 默认值对齐——normalize-actions 更正为默认 True 
- --normalize-actions 默认值 False→True 并注明行为变更（与 config.py:14 对齐）
- --column-weights 注明始终生效（含未归一化训练，P2-a3）
- v3 审计报告同步：P0/P1 清零，P2-a3 一并闭环
 2026-08-14 22:18:24 +08:00
qing 35ee614ca9 fix(pybot×actpred): v3 审计 P1 修复 3 项——零依赖承诺 + ONNX 元数据/残差全链路 
- robot.py numpy 恢复函数级 lazy import，纯 .mt 脚本执行不再需要 numpy（v3-P1-1）
- export_onnx 写入训练配置元数据；onnx_infer 自动识别 normalize_mode/predict_delta 并支持残差加回（v3-P1-2）
- pybot --loop 补 .onnx 后端分支，zscore 缺 action_stats.npy 时告警（P2-a 闭环）
- 回归测试：actpred TestOnnxMetadata +7、pybot 零依赖导入 +1（88/148 全绿）
- 附 v3 审计报告：13 项 v2 修复回归核对 + 7 项新发现（P0-2 遗留 + P2/P3 六项）
 2026-08-14 22:13:06 +08:00
qing b73628b2e5 docs: actpred 模型 C 实验报告——固定范围归一化+逐列加权的闭环发散根因 
teacher forcing val 0.000394 三方最优，但闭环 overall_mse 19843、
error_growth 13.4 首次发散。根因：spk.F 尺度放大（1 归一化单位
=5000Hz）与 w=0.2 放松叠加 exposure bias，自预测反馈滚雪球。
排除保留位列失控与推理端实现 bug。加权方案部分有效（hand 类
episode 2.2-2.8× 优于模型 B），需叠加 R1-B rollout（模型 D 训练中）。
 2026-08-14 13:19:09 +00:00
shufeng2012 9bbbc3fdf4 啥都没用的提交 2026-08-14 19:39:06 +08:00
qing 85bf68f505 feat(actpred): 固定范围归一化 + 逐列加权损失，附 pybot*actpred 审计修复 
新增 action_norm.py 固定物理范围 min-max 归一化，无 stats 文件零状态部署；train.py 引入 _weighted_mse 逐列加权（舵机 1.0/spk 0.2/保留位 0.0）。审计修复: P0-1 pybot 读 normalize_mode, R2-1 NaN 阻断 best, P2-a 后端大小写不敏感, P1-3 utf-8-sig BOM, R1-1 data_dir 覆盖, R2-7 _run.sh 报错, R2-3 空 val 存 best.pt, P2-a2 误报警, R1-2 合并 parse_action_history, P2-b 合并 numpy import。评估修正 oob 物理界+error_growth 按 episode 中位数。推理部署全链支持 fixed_range。
 2026-08-14 18:26:03 +08:00
qing adfa61aa3c docs: pybot×actpred 训练闭环评估实验报告与归一化逐列权重开发方案 
实验报告：dry-run 批量录制 13 episodes/804 样本，未归一化 vs z-score
两模型对照训练，R4 闭环评估定位 spk.F 为主导误差列，记录 oob/error_growth
指标退化与 stats 路径 bug 修复。

开发方案：固定物理范围归一化（actpred 侧常量表，舵机 [0,180°]）+
逐列加权损失，附评估器修正与 rollout/scheduled sampling 配套计划。
 2026-08-14 08:59:53 +00:00
qing aa271e395a fix(pybot×actpred): 审计修复 7 项——Hailo 部署链语义对齐 + NaN 安全 
P1-1: export_deploy.py forward() 从硬编码 3 帧改为 *inputs 动态解析
P1-2: hailo_infer.py 补 predict_delta 支持（残差模式 + --ckpt 自动检测）
P1-3: pybot _load_predictor 自动查找 pred_token.npy/action_stats.npy/
      companion checkpoint，恢复 Hailo 推理训练语义
P1-4: pretrain_mt.py random_images 每 batch 重新生成噪声，防 BN 退化
P2-1: predict.py/hailo_infer.py/robot.py 三层 NaN/Inf 防线
P2-3: recorder.py imu_dim 默认 8→0，避免外部直接使用时形状错误
P2-5: _npu_test.py imu_dim 移到函数定义前，消除执行顺序依赖
 2026-08-14 16:23:05 +08:00
qing 7ec8c9d0e9 fix(actpred): 训练时 action stats 完整路径传给 val_ds，checkpoint 存裸文件名 
normalize_actions 默认改为 True 后暴露的潜伏 bug：stats 保存到
checkpoint_dir 后，cfg 只留裸文件名，val_ds 按 cwd 解析导致
FileNotFoundError。现改为验证集用完整路径构建，checkpoint 配置
存裸文件名（推理端按 checkpoint 目录解析）。
同步修正 test_warn_init_from_mismatch 对默认值的隐式依赖。
 2026-08-14 06:31:15 +00:00
qing af0ff56848 feat(pybot): 录制脚本 record_stand.mt——stand 多姿态序列（微动作分解） 
基于 std.mt 扩展：@Camera 640x480 + MPU6050 绑定 + 5 行 @Action(delay=200)
生成 81 步 actpred 格式 episode（首行不分解 + 4×20 微步插值）
 2026-08-14 06:26:25 +00:00
qing a2c3a579fd fix(actpred): 默认启用动作归一化，避免未归一化时 loss 虚高（几百→<1.0） 2026-08-14 12:01:26 +08:00
qing cd4d512ecd feat(pybot×actpred): R2 多 MPU6050 支持——8×N 姿态向量拼接与归一化平铺 
- robot：_find_imus/_read_imus 按脚本块行序收集拼接 ≤4 个 MPU6050，_pad_imu 对齐 predictor.imu_dim

- recorder/imu_norm/dataset/config：imu.npy 宽度 8×N，归一化除数按传感器数平铺

- 测试：双传感器闭环拼接/pad/truncate、宽布局录制、16 维归一化加载
 2026-08-14 09:34:39 +08:00
qing b289e7d17c fix(pybot): Windows 测试环境兼容（scripts 软链解析、os.pathsep 分隔） 
- conftest：pybot/scripts 为 git 符号链接，Windows 落盘为文本文件（内容=目标相对路径），测试时手动解析到 bot4cj/scripts

- plugin：PYBOT_MODULES_PATH 改按 os.pathsep 分隔，避免 Windows 盘符冒号被切碎导致 find_module 返回丢盘符的路径
 2026-08-14 09:34:26 +08:00
qing a2ba797410 feat(pybot×actpred): R2 姿态反馈方案一——MPU6050 独立 IMU token 全链路 
- pybot：recorder 逐帧落盘 imu.npy（T×8，roll,pitch,ax,ay,az,gx,gy,gz，与帧/动作同调用对齐）；run_loop 对声明 imu_dim 的 predictor 以 predict(..., imu=) 调用（鸭子类型，旧两参调用向后兼容）

- actpred：新增 --imu-dim；model 序列 [img×F, act×H, (IMU), PRED]（imu_dim>0 时 F+H+2，IMU token 位于 PRED 前）；dataset/train 读 imu.npy（缺失按零向量兜底）；predict/ONNX/Hailo 三后端与 export/gen_calibration/dfc_compile/_npu_test 部署链适配 imu 输入

- 姿态按物理量程固定缩放归一化（imu_norm.py，训练/推理共用，零状态）

- 测试：actpred 128 passed / pybot loop+recorder 28 passed
 2026-08-14 09:07:24 +08:00
qing 3e773debc9 docs: pybot×actpred 审计报告与 actpred 研究方向报告 
- docs/reviews/pybot_actpred_AUDIT_20260814.md：双模块审计（15 项既有
  修复确认 + 新发现 P1×4/P2×6，含 P1-2 闭环帧源语义、P1-1 节拍失效研究）
- docs/reports/actpred_research_directions_20260814.md：RNN 思想四切入点
  （C 残差/B 多步/A GRU 记忆 token/D 全 recurrent）+ R1~R13 分层演进路线
- 迁移文档 §9 更新为已实现：进程内闭环
 2026-08-14 07:52:35 +08:00
qing cc2f7bca79 feat(actpred): R1 残差预测+多步展开训练 与 R4 离线评估基准 
R1（可选开关，默认关，向后兼容）：
- --predict-delta：残差预测，target=Δ=a[t]-a[t-1]（归一化空间），
  推理端 predict 自动加回 a_{t-1}（惯性先验平滑动作）
- --rollout-len K + --ss-prob：多步展开 + scheduled sampling，
  首步真历史、后续步按概率用真历史或自预测回传（detach 截断），
  治 exposure bias；dataset 多步样本返回 {steps:[...]}，自定义 collate
- 旧 checkpoint getattr 默认 False 兼容；pybot 闭环/部署链零改动

R4（新增 evaluate.py）：
- 留出 episode 开环滚动预测，复刻闭环口径（图像真值滚动、动作自预测回写）
- 5 个闭环代理指标：overall_mse/error_growth(发散)/error_curve/
  smoothness_ratio(平滑)/oob_rate(越界，数据经验界 min/max+margin)
- 支持 --compare A/B 对比与 --output JSON 报告
- 端到端验证：正确捕捉开环发散(单步 MSE 盲区)与残差平滑收益

新增 17 用例（R1×10 + R4×7），全量 100 passed 无回归
 2026-08-14 07:52:22 +08:00
qing fe12dd7b33 feat(pybot): 进程内实时预测闭环（--loop）与帧源/节拍修复 
- 新增 run_loop 闭环：F 帧+H 步历史双滑窗，冷启动重复同帧+零动作，
  每步 采样→推理→执行→回写，hz 节拍控制，可选同步录制
- --loop CKPT/--hz/--loop-steps 参数，按 .hef 后缀选 Hailo/PyTorch 后端，
  actpred 软依赖（仅 --loop 时 import），保持 pybot 零依赖
- P1-2 帧源修复：闭环改从 camera 守护线程队列取最近 F 帧（低延迟），
  替代 capture() 同步曝光阻塞，framerate/capacity 配置真正生效
- P1-1 overrun 告警：超时步记录实际耗时，汇总 overrun 比例并给降频建议
- 剔除 Speaker.delay 发声阻塞，speaker 补 delay=0 非阻塞
- 新增 tests/test_loop.py 11 用例（冷启动/历史滑动/索引映射/帧源等）
 2026-08-14 07:52:07 +08:00
qing 5af863a2c5 feat(actpred): 训练时安全图像增强（ColorJitter），支持任意 frame_len 
训练集启用 --augment 后对每帧施加亮度/对比度/饱和度/色调变换，
同一样本内所有帧共享参数（模拟连续帧光照不变），验证集不增强。
仅颜色空间变换，无空间变换，动作标签不受影响。
删除 t1.mt（@TEST 块无对应插件，录制时报错）。
 2026-08-13 09:35:37 +00:00
qing 85133868f3 refactor(aibox): 抽离ConversationHistory至subsystems(Wave2阶段1) 
- 新增 subsystems/conversation_history.py: 迁移对话历史管理器(318行)，MemoryDatabase用TYPE_CHECKING注解避免循环导入
- subsystems/__init__.py: 导出ConversationHistory，更新docstring含Wave2
- aibox.py: 移除ConversationHistory类定义(3706->3388行)，仅保留import与类型注解
- 新增 tests/test_conversation_history.py: 41项单测，覆盖构造/当前对话/归档/历史加载/memory_db集成
- 测试基线: 171->212项全过(12.13s)，无回归
 2026-08-13 16:54:32 +08:00
qing 8cb822b511 docs: pybot 微动作分解与自监督数据集录制特性报告 2026-08-13 16:43:12 +08:00
qing bfa6d8deb6 fix(pybot): 录制时改用同步 capture() 按需抓帧，避免帧重复 
_grab_frame 从 camera.latest()（读后台队列）改为 camera.capture()
（直接调 grabber 同步抓帧），确保每个微动作拿到独立帧而非队列中
可能重复的旧帧。Camera 新增 capture() 方法。
 2026-08-13 16:38:15 +08:00
qing 3fc213e7b9 feat(pybot): 微动作分解——带时延的 @Action 行按 10ms 粒度插值执行 
每行带 delay 的动作分解为 N=delay//10 个微步，舵机角度从上一行
目标值线性插值到当前行目标值。首行不分解（设初始位置），每步调
speaker.play(freq, 10) 提供声音+时序，dry_run 下补 sleep(0.01)。
delay 必须是 10 的倍数。录制时每个微步产出一帧+插值动作向量。
 2026-08-13 16:28:00 +08:00
qing d47ef6efb4 docs(aibox): 同步v3.0模块化文档，修复测试路径漂移 
- README.md: 更新行数(8450->3706)、重写目录结构(含tools/subsystems/tests包)、补充包依赖方向与测试运行说明、新增v3.0更新日志
- test_basic_tools.py: 4个ReadFileTool测试改用tmp_path fixture，消除cwd依赖
- 新增 docs/reports/aibox_refactor_progress_20260814.md: 重构进度报告
 2026-08-13 16:26:41 +08:00
qing 791fac0efd refactor(aibox): 抽离B批12个工具类至tools包，附58个单测 
B批（tools/）：迁移依赖子系统的12个工具类（CommandLineTool/SearchSkills/ReloadSkills/InstallSkill/CreateSkill/MemoryTool/MemoTool/UpdateIdentity/UpdateSoul/SaveMemoryAndEndConversation/SetProxy/GetProxy/AskUser），aibox.py减少~1739行

修复MemoryDatabase.get_recent_memories(limit=None)的SQL错误（既有bug，None传给LIMIT ?导致datatype mismatch）

171个单测全绿，循环依赖障碍消除：B批工具直接依赖subsystems而非反向依赖aibox.py
 2026-08-13 16:09:31 +08:00
qing b9f8abdfeb feat(pybot): 运行 .mt 脚本时录制 actpred 格式自监督数据集 
新增 EpisodeRecorder，在 run() 每行 @Action 执行前抓取摄像头帧
+ 构建动作向量，产出 actpred ActionDataset 可直接加载的
episode_XXXX/images/*.jpg + actions.npy 格式。dry_run 下生成
随机噪声帧替代真实图像。

CLI 新增 --record DIR 和 --action-dim 选项。
 2026-08-13 16:08:47 +08:00
qing eadba81c26 refactor(aibox): 抽离工具类与子系统，附单测基线 
A 批（tools/basic_tools.py）：迁移 7 个无外部依赖工具类（FileToolBase/ReadFileTool/WriteFileTool/ListFilesTool/SimpleWebCrawlerTool/GetCurrentTimeTool/CalculatorTool）

Wave1（subsystems/）：迁移 5 个叶子子系统（CommandExecutor/SubprocessCommandExecutor/PromptManager/MemoryDatabase/MemoDatabase/SkillManager），aibox.py 减少 ~1440 行

新增 tests/ 单测 113 个用例全绿，依赖方向维持 common -> subsystems -> tools -> aibox 单向
 2026-08-13 15:48:55 +08:00