qing/blackbird
3
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
805 Commits 2 Branches 0 Tags
e43aeeaf443eb91b787caa6fc90edb155622ed09
Commit Graph
57 Commits
Author SHA1 Message Date
qing e43aeeaf44 fix(aibox): Batch L - round-6 audit low-risk fixes (R1~R3) 
- R1: /memos WS command tolerates malformed reminder_time (J1 gap)

- R2: handle_interrupt no longer cancels global CLI executor

- R3: unregister closes websocket + cancels in-flight processing tasks

- tests: 6 new cases in test_l_fixes.py, 493 passed on Windows

- docs: round-6 audit report section 16, README sync (all 72 findings fixed)
 2026-08-20 11:46:47 +08:00
qing 7dc6796f3a docs: reorganize aibox audit report - overview table, full conclusions, final state 
Add a rounds overview table (baseline HEAD / findings / fix batch /
test baseline per round), extend the overall conclusion to cover all
five rounds, and append a final-state section consolidating high-risk
disposition, maintained/deferred items, and the 490-test baseline.
Fix Batch H item count (13 -> 19) to match the fix table.
 2026-08-20 11:19:04 +08:00
qing 04e3357dd0 docs: add hot-pluggable service-card frontend dev plan (fsys /api/cards aggregator) 2026-08-19 12:25:11 +08:00
qing 2c6d1e8ce6 docs: record round-5 audit and batch K fixes in aibox report and README 
审计报告追加第五轮（§13 发现 J1~J16 + §14 波次 1~5 落地记录），
README 同步测试清单与计数（490 项全过）。
 2026-08-19 07:01:22 +08:00
qing 31b2a4d6ca docs: batch I audit fixes record in aibox audit report 
Batch I (remaining-item sweep): 10 fixes landed, 16 new tests
(test_i_fixes.py), 424 passed. Q7a / M4 / Q9 / F8 kept as-is with
rationales recorded.
 2026-08-18 03:09:18 +00:00
qing 9fee9a1478 docs: batch H audit fixes record in aibox audit report 
Fourth round (HEAD d1f780e): 3-way parallel review + main-reviewer
verification + Linux PoC 6/6; 13 fixes landed, 26 new tests
(test_h_fixes.py), 408 passed.
 2026-08-18 02:33:34 +00:00
qing acb6ddbb4c docs: batch G audit fixes record in aibox audit report 
Add round-3 audit (section 9): legacy item re-verification (17 items), v3.4 multi-model profile + L4 failover review (P1-P7), architecture compliance matrix. Add batch G fix record (section 10): 17 fixes across 5 waves, 20 new regression tests, full suite 375 passed.
 2026-08-18 07:21:34 +08:00
qing 5bcf22f9a7 fix(aibox): registry timeout cleanup + reader thread finalization (F2/N6+N4) 
N6: both streaming-forward timeout paths (deadline hit, join(5)
expiry) previously returned early and skipped the
tool.streaming_output / tool.output_queue cleanup, leaving the daemon
thread writing through the instance attribute — zombie output could
leak into the next session's queue once the attribute got reassigned.
Now unified through a timed_out flag with cleanup at the single exit;
stream_tool_timeout becomes an instance attribute (3600s default,
test-tunable).

N4: reader-thread finalization after timeout/grace break. First
implementation followed the audit suggestion (close stdout + join),
but PoC regression proved close() blocks: CPython stream objects hold
an internal lock, so closing while readline is blocked parks until
readline returns (PoC-1 regressed 3s -> 15.2s, exactly the
Start-Sleep duration). Corrected strategy: when reader already got
EOF, close stdout to release the pipe fd; when reader is still
blocked, only join(timeout=2) then give up (daemon-bounded, thread
ends naturally when the grandchild exits and EOF arrives), keeping
the main flow prompt. Audit report updated with this correction.

Tests: new tests/test_f2_fixes.py (5 cases), PoC regression 5/5
(PoC-1/4 back to ~5s), full suite 272 passed.
 2026-08-17 22:47:37 +08:00
qing eb88a77238 fix(aibox): never persist SOCKS5 proxy password to disk (F1/N1, +N11) 
- config.set_proxy gains password_env (aligned with api_key_env
  convention): config file persists only the env var name; plaintext
  password lives in memory for the current session only
- _save_config deep-copies and nulls proxy.socks5.password before
  json.dump, so every save path is sanitized (defense in depth)
- get_proxy resolves password as in-memory plaintext first, then via
  password_env from os.environ; downstream consumers (llm_client,
  web tool curl args) unchanged
- legacy migration on load: plaintext found on disk is kept in memory
  for the session, file is immediately rewritten sanitized
- SetProxyTool exposes password_env and reports password source
- registry debug logs mask password/api_key/token/secret/authorization
  kwargs (N11)

Tests: new tests/test_config.py (3 cases: no plaintext on save,
password_env resolution, legacy migration); full suite 267 passed.
Audit report updated with Batch F progress.
 2026-08-17 22:37:30 +08:00
qing 1348660cd8 docs(aibox): second-round audit re-review at HEAD 177a9ac 
- Batch E fixes re-verified: H1/H3/M1 solid, H2 solid but with two
  residuals (reader thread leak, subagent timeout blind spot), M2
  incomplete (timeout paths skip tool attribute cleanup)
- Legacy M3/M4/L1/L3 confirmed unfixed; L1 found second instance at
  db.py:459 (get_immediate_memos)
- New findings: 1 high (SOCKS5 proxy password persisted in plaintext),
  9 medium (drain thread leak, event-loop blocking RLock, FTS5 keyword
  injection, streaming bypass of result length cap, persistent prompt
  injection storage, TOCTOU on mark_as_triggered, etc.), 7 low
- Updated compliance matrix and proposed Batch F fix plan (F1-F6)
 2026-08-17 17:51:43 +08:00
qing 177a9ac9a6 fix(aibox): close audit findings H1-H3/M1-M2 (command exec protection chain) 
- H1: CommandLineTool.execute_streaming now purely delegates to injected
  executor; removes 150-line duplicate Popen loop that bypassed 1MB cap,
  cancel() and timeout protections
- H2: thread the blocking readline into a daemon reader thread; main loop
  polls queue with 0.1s ticks so timeout/1MB checks fire even for silent
  commands (verified: 3s timeout on 15s sleep, was 15s+ before)
- H3: stdin=DEVNULL on both Popen sites; stdin-waiting commands now hit
  EOF instead of deadlocking the tool thread forever
- M1: heredoc delimiter uniquification in write_file guidance (content
  line equal to AIBOX_EOF no longer truncates into shell injection)
- M2: 3600s total deadline on registry streaming forward loop

Verification: PoC regression 5/5 PASS (timeout/1MB/cancel/delegation),
full unit suite 264 passed. Audit report updated with Batch E results.
 2026-08-17 17:28:41 +08:00
qing ce142fe32f docs(aibox): sync once-mode docs (MODULES/ARCHITECTURE/dev-doc) 
- MODULES.md/ARCHITECTURE.md：aibox 条目补 --once CLI 与 models 多模型档案（三处同步惯例）
- 开发文档新增第 7 节实施状态：四批提交映射、与计划的 4 处偏差（--once-timeout 改名/models 默认空/worker-only 精简 prompt/退出码 1 边界）、验证结果
- 原 7/8 节顺延为 8/9
 2026-08-17 17:12:15 +08:00
qing ce3fb7fc74 feat(aibox): add CLI once mode (--once/--quiet/--once-timeout) 
- parse_args 新增 --once/--quiet/--once-timeout 参数
- 新增 handle_once_mode：stdout chunk 流式、stderr 过程行、SIGINT 三层取消、超时 Timer
- 退出码：0 成功 / 2 API 失败 / 3 中断 / 4 超时；与 WebSocket 零回归
- 配套开发文档：docs/reports/aibox_cli_once_mode_dev_doc.md
- 附带修复：memdb/test_memdb.py 并发测试硬编码端口
 2026-08-17 15:45:06 +08:00
qing 2b133f1531 docs: cv2.LUT 优化验收测试报告 + 方案文档实测数据更新 
200 次均值端到端 16.1ms（3.3×），分段 3.0/12.5/0.6ms——瓶颈已转移至
NPU 本身；一致性 7 类输入 + 8 seed 随机全 0 差异；10Hz 预算占用 16%。
 2026-08-17 15:28:15 +08:00
qing 40523f6f8a feat(actpred): HailoPredictor cv2.LUT 快路径——归一化+量化合并，端到端 3.3× 
帧预处理从 26.5ms 降至 1.7ms（15.8×），端到端 52.4 → 16.0ms。惰性导入 cv2、
无 cv2 自动回退 float 路径；非 uint8/非 3 通道/尺寸不匹配输入走 PIL 转换
与 float 路径语义一致（7 类输入实测 max_diff=0）。OpenCV 5.0 仅支持单通道
LUT，逐通道应用后 merge。依赖加入 requirements.txt。
 2026-08-17 15:10:40 +08:00
qing 8a5162c912 docs: 修订 Hailo 预处理优化方案——查表法实测证伪，改合并乘加为主 
原型实测：numpy 高级索引查表无加速（26.6 vs 28.5ms），预期 18-20ms 不成立。
主方案改为合并系数乘加（-5ms，0 LSB 等价），cv2.LUT 列为可选激进路径；
预期收益修正为 ~47ms（纯 numpy）/ ~25-30ms（cv2）。
 2026-08-17 14:48:26 +08:00
qing 116d6b63bd docs: actpred Hailo 预处理优化方案——查表法合并归一化+量化 
新 640×480 数据集实测端到端 52.4ms，预处理 35.9ms 占 68%（float 归一化
27.2ms + 量化绑定 9.1ms，存在中间 float 冗余）。方案：256 项查表合并
归一化与量化（数值等价），预计预处理降至 3-6ms、端到端 ~18-20ms。
 2026-08-17 14:41:15 +08:00
qing 13beba09b4 docs(actpred): 研究方向 R8 细化——三层流水线离线 RL + 样本级验证集报告 
R8 细化：预训练→监督微调→离线 RL 流水线定稿；IQL/CQL/DT 选型对比；
IMU 奖励工程四分量（姿态稳定/抖动/平滑/任务进度）；三阶段落地路径。
新增样本级验证集划分实验报告（整集 60 样本噪声大 → 样本级 142 样本
更稳，F2b 在更难验证集上取得更低 val）。实现：val_split_mode 默认
sample，dataset sample_indices 过滤 + zscore 统计口径保持训练集专属。
 2026-08-15 03:52:27 +00:00
qing 9000bb4b04 docs(actpred): 模型 B zscore 等权稳定基线文档 + spk 两列固定常量 
B 是六模型闭环评估中唯一稳定配置（2445/0.082），固化完整方案作为
部署基线与实验对照基准，并总结归一化系列失败机理（反馈回路需误差
有界且收缩）。配套实现：spk.F/spk.delay 权重归零、推理/反馈固定
常量（bins.FIXED_OUTPUT），拔除闭环发散源，为 B2（zscore+v2）与
F2（onehot+固定）铺路。
 2026-08-15 02:01:04 +00:00
qing 1cf428f384 feat(actpred): log_range 归一化——spk 两列对数尺度修正精度错配 
fixed_range 线性 min-max 下常用值挤在低端（10Hz→0.002），闭环反馈
中小绝对误差=大相对误差（模型 C/D 发散根因）。新增 normalize_mode=
log_range：spk.F/spk.delay 用 log10(1+x) 对数尺度（10Hz→0.27），
舵机列保持线性。全链路接入（dataset/pretrain/predict/onnx/hailo/
calibration/export），与 v3 审计 none 模式/元数据自动识别合并。
 2026-08-14 21:38:14 +00:00
qing b73628b2e5 docs: actpred 模型 C 实验报告——固定范围归一化+逐列加权的闭环发散根因 
teacher forcing val 0.000394 三方最优，但闭环 overall_mse 19843、
error_growth 13.4 首次发散。根因：spk.F 尺度放大（1 归一化单位
=5000Hz）与 w=0.2 放松叠加 exposure bias，自预测反馈滚雪球。
排除保留位列失控与推理端实现 bug。加权方案部分有效（hand 类
episode 2.2-2.8× 优于模型 B），需叠加 R1-B rollout（模型 D 训练中）。
 2026-08-14 13:19:09 +00:00
qing adfa61aa3c docs: pybot×actpred 训练闭环评估实验报告与归一化逐列权重开发方案 
实验报告：dry-run 批量录制 13 episodes/804 样本，未归一化 vs z-score
两模型对照训练，R4 闭环评估定位 spk.F 为主导误差列，记录 oob/error_growth
指标退化与 stats 路径 bug 修复。

开发方案：固定物理范围归一化（actpred 侧常量表，舵机 [0,180°]）+
逐列加权损失，附评估器修正与 rollout/scheduled sampling 配套计划。
 2026-08-14 08:59:53 +00:00
qing 3e773debc9 docs: pybot×actpred 审计报告与 actpred 研究方向报告 
- docs/reviews/pybot_actpred_AUDIT_20260814.md：双模块审计（15 项既有
  修复确认 + 新发现 P1×4/P2×6，含 P1-2 闭环帧源语义、P1-1 节拍失效研究）
- docs/reports/actpred_research_directions_20260814.md：RNN 思想四切入点
  （C 残差/B 多步/A GRU 记忆 token/D 全 recurrent）+ R1~R13 分层演进路线
- 迁移文档 §9 更新为已实现：进程内闭环
 2026-08-14 07:52:35 +08:00
qing 5af863a2c5 feat(actpred): 训练时安全图像增强（ColorJitter），支持任意 frame_len 
训练集启用 --augment 后对每帧施加亮度/对比度/饱和度/色调变换，
同一样本内所有帧共享参数（模拟连续帧光照不变），验证集不增强。
仅颜色空间变换，无空间变换，动作标签不受影响。
删除 t1.mt（@TEST 块无对应插件，录制时报错）。
 2026-08-13 09:35:37 +00:00
qing 8cb822b511 docs: pybot 微动作分解与自监督数据集录制特性报告 2026-08-13 16:43:12 +08:00
qing d47ef6efb4 docs(aibox): 同步v3.0模块化文档，修复测试路径漂移 
- README.md: 更新行数(8450->3706)、重写目录结构(含tools/subsystems/tests包)、补充包依赖方向与测试运行说明、新增v3.0更新日志
- test_basic_tools.py: 4个ReadFileTool测试改用tmp_path fixture，消除cwd依赖
- 新增 docs/reports/aibox_refactor_progress_20260814.md: 重构进度报告
 2026-08-13 16:26:41 +08:00
qing 8af8dec1b0 refactor(actpred): 默认图像分辨率改回 640×480 
实机测速显示 1080p 采集的预处理缩放（约 45ms）主导端到端延迟
（测速报告 §6.1），640×480 下端到端 18.6ms，与 NPU/ORT 推理开销
更匹配。640×480 亦能被 16 整除，部署导出池化无损失。
已有 checkpoint 自带配置不受影响，仅改新训练默认值。
 2026-08-13 15:25:09 +08:00
qing 823e91a30e fix(actpred): 修复 HEF 帧归一化误判与部署图数值不等价，补齐 P3 审计项 
- hailo_infer: 帧归一化判定改为量化网格 dequant(0)（旧启发式把归一化
  帧当原始像素喂入，图像路径饱和破坏；实机 max_diff 2.55→0.37，
  img 敏感性 1.44→22.26）
- export_deploy: pool kernel 由卷积真实输出尺寸探测（H//16 在 1080
  高度下静默丢弃末行）；mobilenet backbone 给出明确报错
- mt_parser: @Action 为文件末位块时解析成功，不再静默丢数据
- config: checkpoint train 段未知键/非 dict 校验；init-from 兼容性
  警告助手（normalize/action_dim），train 与 pretrain 共用
- dataset: stats 文件形状校验；predict: 移除误导性 --action-dim
- dfc_compile: --frame-count 参数化（原硬编码 3 帧）
- gen_calibration: 旧模式校准图像改分块 memmap 生成（1080p 原一次性
  分配 ~600MB）
- _npu_test: torch 参考反归一化对齐后再与 HEF 比较
- 单测 81→90 全过；README 与测速报告更新为验证轮次数据
 2026-08-13 15:22:34 +08:00
qing 52c0ade3c4 fix(actpred): 定位 HEF 输入不敏感根因，补齐归一化预训练链路 
根因：预训练全零图像占位使 BN running_var 停在初始小值，推理时
特征放大至 ±1e6，DFC 在 token merge 点按最大幅度分配共享量化
scale，pred_token/act_tokens 全部被压成 0，HEF 输出对任何输入
恒定（详见 docs/reports/actpred_hef_insensitivity_rootcause_20260813.md）

- export_deploy.py：新增 check_token_ranges 导出前 token 量级检查
  （|img|>100 中止导出并提示微调；act/img 比例过大警告；归一化
  模型在 z 空间采样，避免零方差列爆炸）
- pretrain_mt.py：新增 --random-images（ImageNet 归一化噪声占位，
  恢复 BN 统计）、--init-from（微调起点，含动作空间一致性警告）、
  --normalize-actions 完整支持（训练集 stats 计算与保存、验证集复用）
- gen_calibration.py：归一化模型的校准集自动 z-score 动作历史
- _onnx_validate.py / _npu_test.py：归一化模型适配（torch 参考
  z-score、HailoPredictor 传 stats_path）
- README：预训练章节补充新参数与 NPU 部署警告
- 单测 76/76 通过；冒烟验证：1 epoch 噪声微调后 |img| 2.46e5→8，
  归一化后 |act| 694→2.9
 2026-08-13 13:57:38 +08:00
qing a6e1781185 docs(actpred): 更新 Hailo 部署文档与报告，清理过时引用 
- README: 部署工作流更新（224×224、pred-token-out、抖动校准、
  连通性检查），首版 HEF 输入不敏感警告改为修复清单，ONNX 测速
  数字更新为 224 实测
- hailo 调研报告：驱动 5.3.0、vstream 乱序踩坑、编译断连排查与
  修复表、重编译待办
- 测速报告：新增 §6 Pi 5 224×224 复测
- 清理已删除报告的 4 处失效引用（审计报告/迁移文档/项目画像）
 2026-08-13 12:22:41 +08:00
qing 14964b9574 fix(actpred): 修复 Hailo HEF 编译链路的输入断连与封装问题 
- hailo_infer: 帧输入按 input_layerN 排序绑定（vstream 报告顺序实测
  为 1,5,4,3,2，按报告顺序会 frame1/frame2 错位），新增 --pred-token
- gen_calibration: pred_token 校准改为学习值 ±30% 抖动，修复常量
  校准量化退化（scale=18571.7，任何输入都被量化成 0）
- export_deploy: 新增 --pred-token-out 保存学习值供推理端喂入
- dfc_compile: parser/optimize 后自动检查输入层连通性，断开即报错
- 新增 _npu_test.py（NPU 4 角敏感性复验）与 _onnx_validate.py
  （编译前 ONNX 数值门槛），test_actpred 补乱序帧序用例
 2026-08-13 12:22:26 +08:00
qing 2068319c3a fix(actpred): 落实 0812 代码审计 N-2/N-3 修复项 
- 默认 batch_size 32→4（1920×1080 下 CPU/Pi 内存不可行）
- 速度基准报告补 1080p 复测注记（CPU 不可实时，需 NPU 或降分辨率）
- 附重写后首轮全量审计报告（含 N-1 checkpoint 兼容性回归记录）
 2026-08-13 01:34:00 +00:00
qing 518c8b2b90 feat(aibox): v2.9 编排者-执行者工具分层（tool_profile） 
主对话仅保留记忆/情绪/调度/子代理派生等管理面工具，不再直接持有命令行；
子代理（worker）仅注册 7 个执行面工具，无记忆/人格/派生/提问能力，
修复子代理可改写主人格（update_soul）与递归派生的隐患。
附 v2.9 配套运行期提示词模板（aibox/prompts/）与实施方案文档。
 2026-08-13 03:05:47 +08:00
qing ab60b3cafb feat(actpred): 新增 Hailo HEF 推理封装 HailoPredictor，附 AI HAT 2 调研与测速报告 
零 torch 依赖（hailo_platform + numpy + PIL），vstream 形状/量化参数从
HEF 动态推导，支持 uint8 量化边缘与动作归一化 stats；新增 6 个免硬件
单测（fake hailo_platform 注入）。调研报告记录 hailort 5.x 新 API 踩坑，
测速报告给出 CPU(ORT 5.9ms) vs NPU(resnet50 4.29ms) 基准与部署建议。
 2026-08-13 01:41:42 +08:00
qing 0aa0710a9e fix: 统一 .mt 首行 '-' 占位符语义——actpred 对齐 pybot/bot4cj 运行时（填 0），弃用 @Servo max 列填充 2026-08-11 16:30:39 +08:00
qing da8ebbf9e6 docs: 研究整理——同步认证迁至 ca 后的过时描述、补 liblogc 与测试清单 
- ARCHITECTURE/MODULES：ca 版本 v1.1.0、共享基础库补 liblogc、tests 描述与实际 9 个文件对齐、docs 篇数 57
- core README/报告/HttpTask 注释：管理员鉴权由"gateway 唯一权威"更正为 ca（v0.9.0 认证迁址后描述滞后）
- ca/gateway README 架构图 static:9200 → fsys:9200、db:8005 → db2:8005
- 主 README 与 blackbox README 补 test_core_confs.py，test_gateway 文档更新为 ca:8443 契约
 2026-08-10 15:55:43 +00:00
qing 30e064996c docs: 整理文档——分析类归位 reports/、补 captcha2/smtp3 README、修复全部失效链接 
- profile/evaluation/promo_pack 移入 docs/reports/（按文档管理约定），内部引用同步
- 补建 captcha2/README.md、smtp3/README.md（主 README 曾引用但缺失）
- 重写 README 测试章节（实际为 tests/blackbox/，纯标准库零依赖）
- 清除全部 docs/INDEX.md 残留引用；legacy README 中已删除 ini 的失效链接改文字
- 全仓库链接检查 0 broken
 2026-08-10 12:45:26 +00:00
qing 08df3929b2 feat(core): services.yaml 启动配置 + _run.sh 统一参数透传 
Step 1: init.txt → services.yaml
- 新增 InitParser (yaml-cpp), 支持 YAML/TXT 双模式解析, 向后兼容 init.txt
- 新增 services.yaml 声明式服务配置 (name/cmd/args/depends_on/sleep_before)
- 改造 pmc_mtd.cpp 集成 InitParser, 支持目录/.yaml/.txt 三种路径模式
- Makefile 添加 InitParser 编译目标 + -lyaml-cpp 链接
- setup 脚本添加 libyaml-cpp-dev / yaml-cpp-devel 依赖
- core/_run.sh 改为 -i . (目录模式, 自动查找 services.yaml → init.txt)

Step 2: 11 个 _run.sh 统一参数透传
- 8 个脚本改动: 追加 "$@" / 移除 sleep / 修引号
- waf 保留 -c config.yaml 作为脚本默认值
- services.yaml waf args 改为 [] 避免重复传递
- 开发方案文档: docs/reports/core_services_yaml_dev_doc.md
 2026-08-10 03:16:28 +08:00
qing 85eaa2114e Merge branch 'main' of https://git.cancerai.top/qing/blackbird 2026-08-10 02:48:45 +08:00
qing 26c91c6036 docs: 新增 actpred 效果评估报告，移除 INDEX.md 2026-08-09 18:38:24 +00:00
qing cfe30a867c docs(core): 将架构总览合入 core README，新增模块 onboarding 文档 
- 重写 core/README.md：整合运行模式/CLI、任务池模型(Tttask/HttpTask/
  ConfsTask)、进程托管核心(PPool/ProcessTask/pmc_mtd)、IPC 层(Mq+Pipe)、
  HTTP 管理接口(5200 gateway 验签)、内嵌 confs 等章节；修正已废弃的
  users/extra 目录说明，改为实际文件结构树
- 新增 docs/reports/core_module_overview.md 作为底层逐文件分析记录
 2026-08-10 02:17:35 +08:00
qing 6089e7427d docs: 补充 actpred 注意力改造测试报告与 bot4cj Python 迁移开发文档 2026-08-09 18:17:06 +00:00
qing c07ad7ac39 docs: 新增架构/模块文档与项目评估资料 
- docs/ARCHITECTURE.md: 系统架构说明
- docs/MODULES.md: 模块清单与职责
- docs/blackbird_project_profile.md: 项目画像
- docs/blackbird_project_evaluation.md: 项目评估
- docs/reports/fsys_public_frontend_research_20260810.md: fsys 公开前端调研
 2026-08-10 01:27:48 +08:00
qingandWorkBuddy dbc79c52f3 docs(security): 合并 gateway 审计文档并新建 ca 审计索引 
- 三份 gateway 审计（20260801/0807/0809）合并为单一 docs/security/gateway_SECURITY_AUDIT.md
- 已完成修复已合入 gateway/src/main.cpp 注释，认证相关项标注迁 ca
- 新建 docs/security/ca_SECURITY_AUDIT.md，同步迁入 P2-3/P1-7/A2 等开放项
- 更新 docs/INDEX.md 审计表、ca/README.md 引用、auth_service_plan/libhttp 文档链接

Co-Authored-By: WorkBuddy <workbuddy@tencent.com>
 2026-08-10 00:56:21 +08:00
qing c13d11aafb docs: 更新 INDEX 索引并补充 confs2 C++ 重写开发文档 2026-08-09 13:40:49 +00:00
qing 407ce3c366 feat(ca): 认证独立化 CA 模块 v1.0.0 + gateway v0.9.0 纯转发瘦身 
拓扑：waf:443 → ca:8443（认证+前置转发）→ gateway:8445（仅 loopback 纯转发），
WAF upstream 不变，core/dnfs2/前端零改动。

ca v1.0.0（新模块）：
- 认证资产逐字搬迁自 gateway v0.8.0（9 条认证路由、Token 双轨吊销、
  PBKDF2、限流、WS 代理鉴权、wrapperHttp、优雅关闭）
- handleForward 前置转发层：固定上游 gateway:8445；无 Target-Url 公开直转，
  有则本地验签后注入 X-Auth-User/X-Auth-Admin/Authorization（strip-then-set）
- is_special_header 新增剥离 x-auth-user/x-auth-admin；上游不可达统一 502
- confs/configs/ca.ini 新增（[Upstream] gateway + UPSTREAM_GATEWAY env）

gateway v0.9.0（2470→约 560 行）：
- 删除全部认证代码，退居 127.0.0.1:8445
- 启动 loopback 强制自检（非 loopback 拒绝启动）
- X-Auth-User 存在性不变量：显式 Target-Url 无该头一律 401
- gateway.ini 精简至 [Server]/[Proxy]/[Downstream db]

验收：黑盒 34 断言对 8443 原样全绿（32 passed/2 skipped，与基线一致）；
探针实测伪造 X-Auth-User 经 CA 被剥离（echo 实证）、直连 8445 无头 401、
白名单外 403、gateway 宕机 CA 502。core/init.txt 加入 ca/_run.sh。
 2026-08-09 12:15:35 +00:00
qing bbea1ee9d8 test(gateway): 黑盒测试重写 34 断言 + v0.8.0 增量审计闭环文档 
- tests/blackbox/test_gateway.py 重写为 6 段 34 断言（输入校验/whoami+admin.verify/
  captcha-image 代理/路径遍历矩阵/限流随机XFF隔离/CORS+脱敏回归），实测 32 passed/2 skipped
- helpers.py 新增 random_xff/assert_no_internal_leak/db_execute
- docs/security/gateway_SECURITY_AUDIT_20260809.md：A1-A8 增量复审（已全部修复）
- docs/reports/libhttp_remote_addr_dev_doc.md：A4 根治方案（X-Remote-Addr 可信头注入）
- docs/INDEX.md：security 29 篇/reports 12 篇同步
 2026-08-09 12:15:32 +00:00
qing 35e8d747e1 feat: smtp3 C++20 重写 + 安全审计修复 (P0×2/P1-2/P2/P3 全部已修复) 
- 新增 smtp3: pymsg/TCP :8008 邮件验证码服务 (smtp_v2.py 重写, 零新增依赖)
- 审计实证并修复 2 项 P0: SMTP 响应解析颠倒 (发送 100% 失败)、base64 符号扩展
- 修复 P1-2 SIGPIPE、P3-1 日志注入脱敏、P3-3 IPv6、P3-4 模偏差、P3-5 LogC 长连接复用
- 剩余 P1-1 (TLS 证书校验) 与端到端发信验证待 smtp.ini 凭据就绪
- 新增审计报告 docs/security/smtp3_SECURITY_AUDIT_20260809.md 并更新 INDEX
 2026-08-09 06:44:33 +00:00
qing 546394b681 feat: captcha C++20 重写 + 安全审计修复 (P0/P1/P2/P3, 10/11 已修复) 
captcha2 — C++20 验证码服务（FreeType + stb_image_write）:
- 完整实现: 图片生成、CaptchaStore、RateLimiter、pymsg RPC 路由
- 协议完全兼容 Python 原版，gateway 零改动

审计修复 (captcha2_SECURITY_AUDIT_20260809.md):
- P0-1: 存储答案小写化 (对齐 Python 版语义)
- P1-1: gateway 按 IP 限流 10/min + captcha2 全局限流 600/min 兜底
- P2-1: generate_text mt19937 → std::random_device
- P2-2: ::tolower UB → unsigned char lambda
- P3-1: parse_int 辅助函数, stoi 异常可诊断
- P3-2: 显式 #include <iomanip>
- P3-3: 补齐 CAPTCHA_LEN/TTL/RATE_LIMIT 环境变量
- P3-4: LogC 日志超时 5.0→1.0s
- P3-5: 限流/满容抛异常, gateway 映射 429/503
- P3-6: 清理死代码

集成:
- core/init.txt: captcha → captcha2
- confs configs/captcha.ini: 新增 max_store/rate_limit_per_min
- docs: 开发方案、安全审计报告、交叉引用更新
 2026-08-09 04:26:09 +00:00
qing 23a855963b actpred: 预训练与推理测试报告 
新增: docs/reports/actpred_pretrain_test_20260808.md (312行)
- action_dim=18变更验证（17项测试通过）
- .mt脚本解析器测试（13文件，22样本）
- 预训练结果（val_loss 2125→190，-91%）
- 推理基准（1.61ms / 622 FPS）
- PyTorch NPU/向量计算单元支持调研
更新: docs/INDEX.md reports计数8→9
 2026-08-08 17:29:56 +00:00