qing
a2ba797410
- pybot：recorder 逐帧落盘 imu.npy（T×8，roll,pitch,ax,ay,az,gx,gy,gz，与帧/动作同调用对齐）；run_loop 对声明 imu_dim 的 predictor 以 predict(..., imu=) 调用（鸭子类型，旧两参调用向后兼容） - actpred：新增 --imu-dim；model 序列 [img×F, act×H, (IMU), PRED]（imu_dim>0 时 F+H+2，IMU token 位于 PRED 前）；dataset/train 读 imu.npy（缺失按零向量兜底）；predict/ONNX/Hailo 三后端与 export/gen_calibration/dfc_compile/_npu_test 部署链适配 imu 输入 - 姿态按物理量程固定缩放归一化（imu_norm.py，训练/推理共用，零状态） - 测试：actpred 128 passed / pybot loop+recorder 28 passed
4.3 KiB
4.3 KiB
pybot
机器人 .mt 动作脚本解析器 —— bot4cj（仓颉版）的 Python 迁移版。
驱动大顺（Dashun）蜘蛛机器人（树莓派 aarch64，10 舵机 + 2 云台， PCA9685 PWM 控制器 + MPU6050 姿态传感器）。
迁移方案与审计修复映射见 docs/reports/bot4cj_python_migration_dev_doc.md。
特性
- 零第三方依赖：纯标准库（fcntl / struct / threading / wave / argparse），
树莓派上
git pull即部署，无构建步骤。 （picamera2 为可选依赖，仅@Camera摄像头块需要，树莓派 OS 预装，勿 pip 安装） - 与仓颉版逐语义对齐：FSM 解析器、占位符递归、Servo 校准算法、 PCA9685 寄存器序列均与 bot4cj 一致（Mock 总线 journal 可逐字节 diff）。
- Python 插件替代 Lua：
modules/<块名>.py定义build(ctx) / call(ctx) / destroy(ctx)，消除 JSON 深拷贝 + 五层 FFI 桥接。 - 审计修复：bot4cj 审计 15 项发现（S01
S08 / Q01Q07）全部修复， 详见迁移文档 §5。
用法
cat scripts/std.mt | ./_run.sh # 与 bot4cj 相同的管道用法
./_run.sh scripts/std.mt # 位置参数（增强）
./_run.sh --dry-run scripts/std.mt # Mock 总线，动作序列到 stdout
./_run.sh --test roundtrip in.mt out.mt # 解析↔序列化往返自检
./_run.sh --verbose scripts/std.mt # DEBUG 日志（stderr）
./_run.sh --record data/ep scripts/std.mt # 录制 actpred 格式 episode
--record 时若脚本含 @MPU6050_BIND 块，逐帧同步落盘 imu.npy
（T×8：roll,pitch,ax,ay,az,gx,gy,gz，与图像/动作按帧时刻天然对齐）；
无 IMU 硬件则保持旧格式（仅 images + actions.npy）。
-i / -o 参数位保留（reserved），未来对接跨进程 FIFO。
实时预测闭环（--loop）
--loop CKPT 进入进程内闭环：采样 → actpred 推理 → 执行 → 回写历史。
脚本提供硬件配置与 @Action 表头（动作向量索引映射），不执行脚本动作行。
./_run.sh --loop ../actpred/checkpoints/best_inference.pt --hz 10 scripts/std.mt
./_run.sh --loop actpred_pretrain.hef --hz 20 --loop-steps 100 scripts/std.mt # NPU 后端
- checkpoint 后缀
.hef→ Hailo NPU 后端，否则 → PyTorch 后端 hz须 ≥ 推理 + 执行耗时（ONNX ~11ms / Hailo ~12ms，hz ≤ 50 安全）@Action表头列数须 ≤action_dim（默认 18），闭环中跳过spk.delay阻塞- 帧源：闭环从 camera 守护线程队列取最近 F 帧（无阻塞），
@Camera的framerate建议 ≥ 2×hz以保证帧新鲜度；capacity应 ≥ F（帧窗长度）。 部署时若日志出现loop overrun告警，说明hz超过推理+执行能力，应降低hz - 姿态回流（R2）：脚本含
@MPU6050_BIND且模型带 imu 输入 （predictor.imu_dim非 None）时，每步读取 MPU6050 最新姿态随帧/历史 一同传给推理器（原始量纲，归一化在推理端完成）；模型无 imu 输入时 不接入推理（若带--record仍会读取落盘 imu.npy）
目录
pybot/ # 包：parser / robot / hardvars / plugin / main
pybot/hd/ # 硬件层：i2c / spi / servo / kalman / mpu6050 / speaker / camera
modules/ # 硬件驱动插件：PCA9685 / SPI / ADS1115 / ADS1256
scripts -> ../bot4cj/scripts # .mt 脚本与仓颉版共享
tests/ # pytest 单元测试（Mock 总线，无需硬件）
插件查找顺序：$PYBOT_MODULES_PATH（冒号分隔）→ 包内置 modules/ → ./modules/。
开发
./_set.sh # venv + pytest 全量测试
venv/bin/python -m pytest tests/ -v
.mt 脚本格式
见 bot4cj/README.md 与 scripts/std.mt。
格式要点：@块名 开块、行 0 为表头、; 结行、# 注释、
- 占位符（非首行取上一行同列值；首行数值列解析为 0）、@ 收块。
新增块（无仓颉版对应）：
@Camera
name width height framerate capacity;
cam0 1920 1080 30 4;
@
build 启动后台抓帧线程，维护容量为 capacity 的有界帧队列（满丢最旧帧）；
play 返回最新帧 (时间戳, frame)。