qing
47ab9f2fe6
fix(pymsg): 使用 deadline 模式修复 recv 总超时绕过（Slowloris DoS）
...
_recv_exact 从单次 sock.settimeout() 改为整体 deadline 模式：
header 与 payload 共享同一 total deadline，每次 recv_into 前按剩余
时间收紧超时，逐字节发送无法刷新 deadline，半开连接被及时关闭。
同步更新 pymsg 安全审计报告 P0-1 状态，修复率 6.25% -> 12.5%。
2026-08-03 22:15:44 +08:00
qing
a7a78d1424
docs: aggregate project documentation under docs/ with unified index
...
- Move all per-module security audit reports to docs/security/
- Move code review logs to docs/reviews/, analysis reports to docs/reports/
- Add docs/INDEX.md as single entry point for all project documentation
- Add documentation management conventions section to README.md
- Clean up empty per-module docs/ directories
2026-08-03 13:21:48 +08:00
qing
89b374c21d
fix(pymsg): 捕获 UnicodeDecodeError 防止同步模式服务崩溃
...
recv() payload.decode("utf-8") 抛出 UnicodeDecodeError(ValueError子类)不在 _handle_client 异常捕获列表中，同步模式(workers=0)下收到无效UTF-8字节会导致整个服务进程崩溃。修复：recv()中将UnicodeDecodeError包装为ConnectionError；_handle_client()异常列表增加防御性兜底。
2026-08-01 22:11:38 +08:00
qing
d883dc620e
refactor(pymsg): 新增AsyncRpcQueue通用异步队列，log_client基于此重构
...
- pymsg新增AsyncRpcQueue：提供内存队列+后台线程+攒批处理的通用异步基础设施，
支持两种模式：简单RPC模式(client+method+serialize)和自定义handler模式
- confs/dnfs/static的log_client.py重构为基于AsyncRpcQueue的薄封装，
保持API完全向后兼容(push/info/error/warning/debug/critical + 全局logs单例)
- 消除了三份log_client副本中重复的队列/线程/攒批逻辑(约150行/份)，
代码量净减少约50行
- LogClient的行为与旧版一致：逐条INSERT到db、fail-fast网络错误、队列满丢最旧
2026-08-01 12:59:33 +08:00
qing
101aed48be
feat(pymsg): RpcClient 新增 retry_on_refused 阻塞等待模式，解决微服务启动顺序依赖
...
pymsg 客户端:
- MsgClient.call() 新增 retry_on_refused/retry_interval 参数
- retry_on_refused=True 时，ConnectionRefusedError 不抛出，按 retry_interval(默认1s)阻塞重试
- 重试期间每5秒向 stderr 打印等待提示，避免日志刷屏
- 仅对 ConnectionRefusedError 重试；TimeoutError/ConnectionError/RpcError 仍立即抛出
- 默认 retry_on_refused=False，完全向后兼容
- RpcClient 构造函数新增同名关键字参数，call() 支持单次调用覆盖
- 新增 time 模块导入
- 更新 README 文档（新增"启动等待模式"章节和参数表）
各服务（db/dnfs/static）:
- _fetch_from_confs() 改用 retry_on_refused=True，移除手动 ConnectionRefusedError 捕获和 sys.exit
- 保留 RpcError（如配置文件不存在）的友好错误处理和 sys.exit(1)
- 启动时不再因 confs 未就绪而退出：pymsg 自动阻塞等待 confs 启动后自动连接成功
- 启动顺序从"刚性要求 confs 先启动"变为"不严格要求启动顺序"
- log_client 保持默认 retry_on_refused=False，后台线程不阻塞（fail-safe 丢弃日志）
- 更新各服务 README 和 confs README 的启动顺序描述
测试验证:
- 基本 call() 正常工作
- retry_on_refused=False 连接拒绝立即抛 ConnectionRefusedError
- retry_on_refused=True 阻塞等待（延迟1.5s启动服务后成功连接，重试日志正常输出）
2026-08-01 12:47:08 +08:00
qing
cebef9fe70
docs: 各模块安全审计报告 + 补充 .gitignore 忽略规则
2026-08-01 05:21:23 +08:00
qing
9708fbc87e
fix(pymsg): add recv_timeout to MsgServer to prevent Slowloris DoS
...
- Add configurable recv_timeout (default 10s) to MsgServer
- _handle_client now uses recv(s, timeout=...) instead of infinite blocking recv(s)
- Catch TimeoutError and close the slow client connection
- This prevents a single stalled connection from blocking the entire main select loop
- Update README with recv_timeout parameter and Slowloris mitigation docs
- Backward compatible: keyword-only arg with sensible default
2026-08-01 03:12:49 +08:00
qing
ae92a6edde
perf(pymsg): send/recv 零拷贝优化
...
send: sendmsg 散射-聚集 I/O 替代 header+payload 拼接，内核直接
从两块内存读取，省掉大消息的用户态拷贝。
recv: recv_into 写入预分配 bytearray 替代 bytearray 逐步 extend，
省掉 realloc 和 bytes() 转换。
2026-08-01 02:08:03 +08:00
qing
267d572906
fix(pymsg): 修复消息长度无上限导致 OOM DoS 漏洞
...
Python/Go 端 recv 缺失消息大小上限检查，恶意客户端发送 4 字节
超大长度头即可触发 OOM。新增 64 MiB 上限（与 C++ 端 Msg.hpp
对齐），在分配内存前拒绝并断开连接。新增 5 个单元测试覆盖。
2026-08-01 01:55:44 +08:00
qing
3f97dd92ef
update
2026-07-30 21:57:04 +08:00
qing
32d3a5a19f
重构db
2026-07-30 20:15:02 +08:00
qing
e4831522a4
docs: 新增 libhttp/libtry/pymsg/README.robot.md 技术手册，更新 BotOps/README.md
2026-07-30 12:38:31 +08:00
qing
b8ec752a12
docs(pymsg): 添加中文 README 文档，涵盖协议、API 参考和实际用例
2026-07-29 09:39:49 +08:00
qing
1a39e87c8c
更新pymsg
2026-07-26 21:04:42 +08:00
qing
8ec42df779
初步开发了新的pymsg，并且应用在了dnfs上面
2026-07-26 17:57:27 +08:00
qing