qing
d883dc620e
refactor(pymsg): 新增AsyncRpcQueue通用异步队列，log_client基于此重构
...
- pymsg新增AsyncRpcQueue：提供内存队列+后台线程+攒批处理的通用异步基础设施，
支持两种模式：简单RPC模式(client+method+serialize)和自定义handler模式
- confs/dnfs/static的log_client.py重构为基于AsyncRpcQueue的薄封装，
保持API完全向后兼容(push/info/error/warning/debug/critical + 全局logs单例)
- 消除了三份log_client副本中重复的队列/线程/攒批逻辑(约150行/份)，
代码量净减少约50行
- LogClient的行为与旧版一致：逐条INSERT到db、fail-fast网络错误、队列满丢最旧
2026-08-01 12:59:33 +08:00
qing
101aed48be
feat(pymsg): RpcClient 新增 retry_on_refused 阻塞等待模式，解决微服务启动顺序依赖
...
pymsg 客户端:
- MsgClient.call() 新增 retry_on_refused/retry_interval 参数
- retry_on_refused=True 时，ConnectionRefusedError 不抛出，按 retry_interval(默认1s)阻塞重试
- 重试期间每5秒向 stderr 打印等待提示，避免日志刷屏
- 仅对 ConnectionRefusedError 重试；TimeoutError/ConnectionError/RpcError 仍立即抛出
- 默认 retry_on_refused=False，完全向后兼容
- RpcClient 构造函数新增同名关键字参数，call() 支持单次调用覆盖
- 新增 time 模块导入
- 更新 README 文档（新增"启动等待模式"章节和参数表）
各服务（db/dnfs/static）:
- _fetch_from_confs() 改用 retry_on_refused=True，移除手动 ConnectionRefusedError 捕获和 sys.exit
- 保留 RpcError（如配置文件不存在）的友好错误处理和 sys.exit(1)
- 启动时不再因 confs 未就绪而退出：pymsg 自动阻塞等待 confs 启动后自动连接成功
- 启动顺序从"刚性要求 confs 先启动"变为"不严格要求启动顺序"
- log_client 保持默认 retry_on_refused=False，后台线程不阻塞（fail-safe 丢弃日志）
- 更新各服务 README 和 confs README 的启动顺序描述
测试验证:
- 基本 call() 正常工作
- retry_on_refused=False 连接拒绝立即抛 ConnectionRefusedError
- retry_on_refused=True 阻塞等待（延迟1.5s启动服务后成功连接，重试日志正常输出）
2026-08-01 12:47:08 +08:00
qing
cebef9fe70
docs: 各模块安全审计报告 + 补充 .gitignore 忽略规则
2026-08-01 05:21:23 +08:00
qing
9708fbc87e
fix(pymsg): add recv_timeout to MsgServer to prevent Slowloris DoS
...
- Add configurable recv_timeout (default 10s) to MsgServer
- _handle_client now uses recv(s, timeout=...) instead of infinite blocking recv(s)
- Catch TimeoutError and close the slow client connection
- This prevents a single stalled connection from blocking the entire main select loop
- Update README with recv_timeout parameter and Slowloris mitigation docs
- Backward compatible: keyword-only arg with sensible default
2026-08-01 03:12:49 +08:00
qing
ae92a6edde
perf(pymsg): send/recv 零拷贝优化
...
send: sendmsg 散射-聚集 I/O 替代 header+payload 拼接，内核直接
从两块内存读取，省掉大消息的用户态拷贝。
recv: recv_into 写入预分配 bytearray 替代 bytearray 逐步 extend，
省掉 realloc 和 bytes() 转换。
2026-08-01 02:08:03 +08:00
qing
267d572906
fix(pymsg): 修复消息长度无上限导致 OOM DoS 漏洞
...
Python/Go 端 recv 缺失消息大小上限检查，恶意客户端发送 4 字节
超大长度头即可触发 OOM。新增 64 MiB 上限（与 C++ 端 Msg.hpp
对齐），在分配内存前拒绝并断开连接。新增 5 个单元测试覆盖。
2026-08-01 01:55:44 +08:00
qing
3f97dd92ef
update
2026-07-30 21:57:04 +08:00
qing
32d3a5a19f
重构db
2026-07-30 20:15:02 +08:00
qing
e4831522a4
docs: 新增 libhttp/libtry/pymsg/README.robot.md 技术手册，更新 BotOps/README.md
2026-07-30 12:38:31 +08:00
qing
b8ec752a12
docs(pymsg): 添加中文 README 文档，涵盖协议、API 参考和实际用例
2026-07-29 09:39:49 +08:00
qing
1a39e87c8c
更新pymsg
2026-07-26 21:04:42 +08:00
qing
8ec42df779
初步开发了新的pymsg，并且应用在了dnfs上面
2026-07-26 17:57:27 +08:00
qing