qing
7467e7bd42
docs: 整理文档——修复全部 file:// 失效链接、补齐缺失模块 README
...
- 将 7 个文档中的 mac 绝对路径链接（file:///Users/qingsong/...）转换为仓库相对路径，
并修正错误目标：aibox 入口 main.py → aibox.py、pymsg C++ 实现 → libmsg/inc/us/Msg.hpp、
bot4cj cpp/cnn → cuda
- 主 README 补 liblogc 基础库条目与 confs2 归档说明，安装顺序补 ca
- 新增 liblogc / libtry / confs2 / 3d / memdb README
- 同步 db2 脚本迁移（db/create_sqlite3.sql → db2/scripts/）导致的失效引用
2026-08-10 15:48:29 +00:00
qing
aa3741b861
feat(liblogc): 统一集中式日志客户端库 + 全量迁移
...
新增:
- liblogc/: C++ 统一日志库 (libus_logc.so)，支持 set_endpoint/set_service_name/set_level
- pymsg/pymsg/logc.py: Python 统一日志模块，基于 AsyncRpcQueue
C++ 迁移 (删除 6 份本地 LogC.hpp 副本):
- ca, gateway: <us/LogC.hpp> + set_service_name
- captcha2, confs2, smtp3: using qing::LogC + set_service_name
- core: ConfsLogC → qing::LogC (ConfsTask.cpp)
- 所有 Makefile 添加 -lus_logc
Python 迁移 (6 个 log_client.py → 4 行薄包装):
- smtp, redirect80, confs, captcha, dnfs, static
- 全部委托到 pymsg.logc.LogClient
Go (waf): 保持现状，自成体系
2026-08-10 04:51:43 +00:00
qing
373045f0a3
pymsg: 将已修复安全审计项合入源码注释, 精简审计报告
...
- 将 P0-1/P0-2/P1-1/P1-2/P1-3/P1-5 共 6 条已修复发现作为
[SECURITY AUDIT ... ✅ 已修复] 注释合入 pymsg 源码对应位置
- 重写 pymsg 审计报告, 删除已合并条目, 仅保留 10 条未修复项待跟踪
2026-08-10 01:08:55 +08:00
qing
dd4fef6dee
fix(pymsg): 异常信息脱敏与JSON深度/大数字限制，防信息泄露与DoS
2026-08-03 22:30:17 +08:00
qing
87f209af73
fix(pymsg): 增加连接数与线程池队列上限，防资源耗尽
...
- P1-1: MsgServer 新增 max_connections（默认1000），_accept_client 超限
直接拒绝并关闭新连接，防连接耗尽攻击
- P1-2: 新增 _BoundedThreadPoolExecutor + max_queue_size（默认1000），
慢 handler 时任务排队超限即拒绝并断开连接，防内存无限增长
同步更新审计报告 P1-1/P1-2 状态，修复率 18.75% -> 25%
2026-08-03 22:25:32 +08:00
qing
47ab9f2fe6
fix(pymsg): 使用 deadline 模式修复 recv 总超时绕过（Slowloris DoS）
...
_recv_exact 从单次 sock.settimeout() 改为整体 deadline 模式：
header 与 payload 共享同一 total deadline，每次 recv_into 前按剩余
时间收紧超时，逐字节发送无法刷新 deadline，半开连接被及时关闭。
同步更新 pymsg 安全审计报告 P0-1 状态，修复率 6.25% -> 12.5%。
2026-08-03 22:15:44 +08:00
qing
a7a78d1424
docs: aggregate project documentation under docs/ with unified index
...
- Move all per-module security audit reports to docs/security/
- Move code review logs to docs/reviews/, analysis reports to docs/reports/
- Add docs/INDEX.md as single entry point for all project documentation
- Add documentation management conventions section to README.md
- Clean up empty per-module docs/ directories
2026-08-03 13:21:48 +08:00
qing
89b374c21d
fix(pymsg): 捕获 UnicodeDecodeError 防止同步模式服务崩溃
...
recv() payload.decode("utf-8") 抛出 UnicodeDecodeError(ValueError子类)不在 _handle_client 异常捕获列表中，同步模式(workers=0)下收到无效UTF-8字节会导致整个服务进程崩溃。修复：recv()中将UnicodeDecodeError包装为ConnectionError；_handle_client()异常列表增加防御性兜底。
2026-08-01 22:11:38 +08:00
qing
d883dc620e
refactor(pymsg): 新增AsyncRpcQueue通用异步队列，log_client基于此重构
...
- pymsg新增AsyncRpcQueue：提供内存队列+后台线程+攒批处理的通用异步基础设施，
支持两种模式：简单RPC模式(client+method+serialize)和自定义handler模式
- confs/dnfs/static的log_client.py重构为基于AsyncRpcQueue的薄封装，
保持API完全向后兼容(push/info/error/warning/debug/critical + 全局logs单例)
- 消除了三份log_client副本中重复的队列/线程/攒批逻辑(约150行/份)，
代码量净减少约50行
- LogClient的行为与旧版一致：逐条INSERT到db、fail-fast网络错误、队列满丢最旧
2026-08-01 12:59:33 +08:00
qing
101aed48be
feat(pymsg): RpcClient 新增 retry_on_refused 阻塞等待模式，解决微服务启动顺序依赖
...
pymsg 客户端:
- MsgClient.call() 新增 retry_on_refused/retry_interval 参数
- retry_on_refused=True 时，ConnectionRefusedError 不抛出，按 retry_interval(默认1s)阻塞重试
- 重试期间每5秒向 stderr 打印等待提示，避免日志刷屏
- 仅对 ConnectionRefusedError 重试；TimeoutError/ConnectionError/RpcError 仍立即抛出
- 默认 retry_on_refused=False，完全向后兼容
- RpcClient 构造函数新增同名关键字参数，call() 支持单次调用覆盖
- 新增 time 模块导入
- 更新 README 文档（新增"启动等待模式"章节和参数表）
各服务（db/dnfs/static）:
- _fetch_from_confs() 改用 retry_on_refused=True，移除手动 ConnectionRefusedError 捕获和 sys.exit
- 保留 RpcError（如配置文件不存在）的友好错误处理和 sys.exit(1)
- 启动时不再因 confs 未就绪而退出：pymsg 自动阻塞等待 confs 启动后自动连接成功
- 启动顺序从"刚性要求 confs 先启动"变为"不严格要求启动顺序"
- log_client 保持默认 retry_on_refused=False，后台线程不阻塞（fail-safe 丢弃日志）
- 更新各服务 README 和 confs README 的启动顺序描述
测试验证:
- 基本 call() 正常工作
- retry_on_refused=False 连接拒绝立即抛 ConnectionRefusedError
- retry_on_refused=True 阻塞等待（延迟1.5s启动服务后成功连接，重试日志正常输出）
2026-08-01 12:47:08 +08:00
qing
cebef9fe70
docs: 各模块安全审计报告 + 补充 .gitignore 忽略规则
2026-08-01 05:21:23 +08:00
qing
9708fbc87e
fix(pymsg): add recv_timeout to MsgServer to prevent Slowloris DoS
...
- Add configurable recv_timeout (default 10s) to MsgServer
- _handle_client now uses recv(s, timeout=...) instead of infinite blocking recv(s)
- Catch TimeoutError and close the slow client connection
- This prevents a single stalled connection from blocking the entire main select loop
- Update README with recv_timeout parameter and Slowloris mitigation docs
- Backward compatible: keyword-only arg with sensible default
2026-08-01 03:12:49 +08:00
qing
ae92a6edde
perf(pymsg): send/recv 零拷贝优化
...
send: sendmsg 散射-聚集 I/O 替代 header+payload 拼接，内核直接
从两块内存读取，省掉大消息的用户态拷贝。
recv: recv_into 写入预分配 bytearray 替代 bytearray 逐步 extend，
省掉 realloc 和 bytes() 转换。
2026-08-01 02:08:03 +08:00
qing
267d572906
fix(pymsg): 修复消息长度无上限导致 OOM DoS 漏洞
...
Python/Go 端 recv 缺失消息大小上限检查，恶意客户端发送 4 字节
超大长度头即可触发 OOM。新增 64 MiB 上限（与 C++ 端 Msg.hpp
对齐），在分配内存前拒绝并断开连接。新增 5 个单元测试覆盖。
2026-08-01 01:55:44 +08:00
qing
3f97dd92ef
update
2026-07-30 21:57:04 +08:00
qing
32d3a5a19f
重构db
2026-07-30 20:15:02 +08:00
qing
e4831522a4
docs: 新增 libhttp/libtry/pymsg/README.robot.md 技术手册，更新 BotOps/README.md
2026-07-30 12:38:31 +08:00
qing
b8ec752a12
docs(pymsg): 添加中文 README 文档，涵盖协议、API 参考和实际用例
2026-07-29 09:39:49 +08:00
qing
1a39e87c8c
更新pymsg
2026-07-26 21:04:42 +08:00
qing
8ec42df779
初步开发了新的pymsg，并且应用在了dnfs上面
2026-07-26 17:57:27 +08:00
qing