test(gateway): 黑盒测试重写 34 断言 + v0.8.0 增量审计闭环文档
- tests/blackbox/test_gateway.py 重写为 6 段 34 断言（输入校验/whoami+admin.verify/ captcha-image 代理/路径遍历矩阵/限流随机XFF隔离/CORS+脱敏回归），实测 32 passed/2 skipped - helpers.py 新增 random_xff/assert_no_internal_leak/db_execute - docs/security/gateway_SECURITY_AUDIT_20260809.md：A1-A8 增量复审（已全部修复） - docs/reports/libhttp_remote_addr_dev_doc.md：A4 根治方案（X-Remote-Addr 可信头注入） - docs/INDEX.md：security 29 篇/reports 12 篇同步
This commit is contained in:
qing committed
1 parent
7342de421b
commit
bbea1ee9d8
6 files changed
+821
-157
No files matched your search
+5
-3
@@ -7,9 +7,9 @@
|
||||
```
|
||||
docs/
|
||||
├── INDEX.md # 本文件（文档总索引）
|
||||
├── security/ # 安全审计与加固（28 篇）
|
||||
├── security/ # 安全审计与加固（29 篇）
|
||||
├── reviews/ # 代码审查日志（4 篇）
|
||||
└── reports/ # 分析报告与开发规划（11 篇）
|
||||
└── reports/ # 分析报告与开发规划（12 篇）
|
||||
```
|
||||
|
||||
---
|
||||
@@ -39,6 +39,7 @@ docs/
|
||||
| waf | [waf_SECURITY_AUDIT_20260801.md](security/waf_SECURITY_AUDIT_20260801.md) | Go WAF 网关（TLS、coraza、反向代理） |
|
||||
| gateway | [gateway_SECURITY_AUDIT_20260801.md](security/gateway_SECURITY_AUDIT_20260801.md) | C++20 应用网关（鉴权、Token、反向代理）初版 |
|
||||
| gateway | [gateway_SECURITY_AUDIT_20260807.md](security/gateway_SECURITY_AUDIT_20260807.md) | C++20 应用网关复审版（P0全部修复，进程退出bug修复） |
|
||||
| gateway | [gateway_SECURITY_AUDIT_20260809.md](security/gateway_SECURITY_AUDIT_20260809.md) | C++20 应用网关增量复审（8 项新发现：关闭崩溃、头名大小写架空XFF修复等；黑盒测试重写落地） |
|
||||
| core | [core_SECURITY_AUDIT_20260801.md](security/core_SECURITY_AUDIT_20260801.md) | C++20 进程托管服务（PMC/Nidus） |
|
||||
| db | [db_SECURITY_AUDIT_20260801.md](security/db_SECURITY_AUDIT_20260801.md) | Python 数据库服务（pymsg、SQLAlchemy、日志收集） |
|
||||
| db2 | [db2_SECURITY_AUDIT_20260806.md](security/db2_SECURITY_AUDIT_20260806.md) | C++20 数据库 RPC 服务（db 的 C++ 重实现，SQLite C API） |
|
||||
@@ -80,7 +81,7 @@ docs/
|
||||
|------|------|
|
||||
| [blackbird_research_report.md](reports/blackbird_research_report.md) | blackbird 项目研究报告（安全架构分析、改进建议、里程碑规划） |
|
||||
| [core_service_registry_dev_doc.md](reports/core_service_registry_dev_doc.md) | Core 模块注册中心功能扩展开发文档（服务注册/发现/健康守护/自动重启） |
|
||||
| [auth_service_plan.md](reports/auth_service_plan.md) | 权限系统独立化计划书（认证授权从 gateway 拆分为独立服务） |
|
||||
| [auth_service_plan.md](reports/auth_service_plan.md) | 认证独立化（CA 模块）开发文档（waf→ca→gateway 前置拓扑；gateway 退 8445 纯转发不验签；下游/WAF/前端零改动） |
|
||||
| [aibox_open_dev_plan.md](reports/aibox_open_dev_plan.md) | aibox 开放版开发计划（命令注入漏洞修复、安全沙箱方案） |
|
||||
| [aibox_file_network_cli_refactor.md](reports/aibox_file_network_cli_refactor.md) | aibox 文件/网络操作命令行化重构计划 |
|
||||
| [blackbird_promo_full.md](reports/blackbird_promo_full.md) | blackbird 项目完整版宣传文案 |
|
||||
@@ -90,6 +91,7 @@ docs/
|
||||
| [actpred_pretrain_test_20260808.md](reports/actpred_pretrain_test_20260808.md) | actpred 预训练与推理测试报告（action_dim=18 变更、.mt 解析器、预训练、推理基准、NPU 调研） |
|
||||
| [captcha_cpp_rewrite_dev_doc.md](reports/captcha_cpp_rewrite_dev_doc.md) | captcha 模块 C++20 重写开发方案（FreeType + stb_image_write 替代 Pillow，协议兼容零改动） |
|
||||
| [smtp_cpp_rewrite_dev_doc.md](reports/smtp_cpp_rewrite_dev_doc.md) | smtp 模块 C++20 重写开发方案（SMTP_SSL 客户端手写，审计 7 项遗留一并在重写中修复，零新增系统依赖） |
|
||||
| [libhttp_remote_addr_dev_doc.md](reports/libhttp_remote_addr_dev_doc.md) | libhttp 对端地址透传开发方案（X-Remote-Addr 可信头注入，非破坏；gateway trust_xff 配套，闭环审计 A4） |
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -0,0 +1,179 @@
|
||||
# libhttp 对端地址透传 · 开发文档
|
||||
|
||||
**日期**: 2026-08-09
|
||||
**背景**: gateway 审计 A4（[gateway_SECURITY_AUDIT_20260809.md](../security/gateway_SECURITY_AUDIT_20260809.md)）——独立部署模式 B 下 RateLimiter 以客户端可控的 `X-Forwarded-For` 为限流键，伪造 XFF 即绕过全部 IP 级限流。根治需要 libhttp 向 handler 透传 TCP 对端地址。
|
||||
**范围**: `libhttp`（注入实现）、`gateway`（消费方配套）；其余消费方（core/dnfs2/fsys）零改动。
|
||||
|
||||
---
|
||||
|
||||
## 0. 摘要
|
||||
|
||||
libhttp 的 Session 层**已经持有**对端地址（accept 时 `setRemoteInfo()`），但未向请求处理链路透传：`HttpRequestHandler` 只收到 `(req, params)`。本方案在 Session 派发前向请求注入**可信私有头** `X-Remote-Addr`（先剥离客户端伪造值再写入对端 IP），实现非破坏性透传；gateway 侧新增 `trust_xff` 配置选择限流键，闭环 A4。
|
||||
|
||||
---
|
||||
|
||||
## 1. 现状分析
|
||||
|
||||
### 1.1 调用链与缺口
|
||||
|
||||
```
|
||||
Listener::onAccept ← socket.remote_endpoint() 在此可用
|
||||
└─ session->setRemoteInfo(ip, port) （HttpServer_Listener.cpp L50）
|
||||
└─ Session::handleRead （解析完成，WS/HTTP 分流）
|
||||
├─ WS 路径：findWsProxyRoute(path)(request_) / findWsRoute
|
||||
└─ HTTP 路径：processRequest(req)
|
||||
└─ server_->handleRequest(req) （HttpServer_Request.cpp L8）
|
||||
└─ handler(req, params) ← 对端地址在此丢失
|
||||
```
|
||||
|
||||
**缺口**: `remote_ip_`/`remote_port_` 是 `Session` 私有成员（`HttpServerImpl.hpp` L122-123），仅用于 SSL 握手与读写错误日志；`handleRequest`/`handler` 拿不到。
|
||||
|
||||
### 1.2 已有基础设施（无需新建）
|
||||
|
||||
| 设施 | 位置 | 说明 |
|
||||
|------|------|------|
|
||||
| `Session::setRemoteInfo(ip, port)` | `HttpServerImpl.hpp` L60 | accept 时已被调用 |
|
||||
| `Session::getRemoteAddress()` | `HttpServerImpl.hpp` L63 | `"ip:port"` 形式 |
|
||||
| `remote_ip_` / `remote_port_` 成员 | `HttpServerImpl.hpp` L122-123 | 默认 `"unknown"` / 0 |
|
||||
| WS 侧对端地址 | `WebSocketConnectHandler` | WS 路径已有 `remoteAddress` 回调参数，HTTP 路径独缺 |
|
||||
|
||||
### 1.3 消费方清单（`us_http` 链接者）
|
||||
|
||||
| 模块 | 受影响 | 说明 |
|
||||
|------|--------|------|
|
||||
| gateway | 配套改造 | 限流键切换 + 代理剥离私有头（A4 闭环） |
|
||||
| core / dnfs2 / fsys | 零改动 | 非破坏方案下无感知 |
|
||||
|
||||
---
|
||||
|
||||
## 2. 方案对比
|
||||
|
||||
| 方案 | 改动 | 破坏性 | 评价 |
|
||||
|------|------|--------|------|
|
||||
| **A. handler 签名扩展** | `HttpRequestHandler` 加第三参 `remote_addr` | 🔴 破坏：4 模块全部路由注册 lambda（`[](const auto& req, const auto& params)`）编译失败，gateway 约 15 处 | 类型安全但爆炸半径大；std::function 签名变更无渐进路径 |
|
||||
| **B. 可信私有头注入** | Session 派发前 erase+set `X-Remote-Addr` | 🟢 非破坏：handler 签名不变，消费方 opt-in 读取 | **推荐**。与 WAF 覆写 XFF、gateway 注入可信 XFF 的既有模式同构 |
|
||||
| **C. 新增 Ex 注册 API** | `HttpRequestHandlerEx` + `getEx/postEx/...` | 🟢 非破坏 | 长期双 API 并存，路由查找分叉，不值得 |
|
||||
|
||||
**结论：选 B**。若未来确需类型安全（如更多连接元信息：TLS 指纹、证书序列号），可在 B 稳定后再评估 A，B 作为便利层保留。
|
||||
|
||||
---
|
||||
|
||||
## 3. 方案 B 详细设计
|
||||
|
||||
### 3.1 注入点与语义
|
||||
|
||||
**注入点**: `Session::handleRead()` 解析成功分支（`HttpServer_Request.cpp` L266 `if (!ec)` 内、WS 分流判断**之前**）。单点覆盖 HTTP 与 WS-upgrade 两条路径，且 keep-alive 连接复用时每个请求独立注入（对端地址在同一连接内不变，重复注入无害）。
|
||||
|
||||
**语义（strip-then-set，防伪造）**:
|
||||
|
||||
```cpp
|
||||
// handleRead() if (!ec) 分支最前面：
|
||||
// 注入可信对端地址：先剥离客户端伪造值，再写入 socket 对端 IP（A4 根治）
|
||||
request_.erase("X-Remote-Addr"); // Beast fields 大小写不敏感
|
||||
request_.set("X-Remote-Addr", remote_ip_);
|
||||
```
|
||||
|
||||
- Beast 的 `fields::erase/set` 对头名大小写不敏感，`set` 本身即覆盖全部同名字段；显式 `erase` 先行使意图自解释。
|
||||
- 头名 `X-Remote-Addr`：与 `X-Forwarded-For`/`X-Real-IP` 区分语义——**它不是转发链信息，而是本跳的 socket 事实**，任何代理都不得原样转发（见 §4.2 剥离配套）。
|
||||
|
||||
### 3.2 边缘情况
|
||||
|
||||
| 场景 | 行为 |
|
||||
|------|------|
|
||||
| 客户端伪造 `X-Remote-Addr`（任意大小写） | 被 erase，无效 |
|
||||
| keep-alive 同连接第 N 个请求 | 每次解析后重新注入，值不变 |
|
||||
| WS-upgrade 请求 | 同样注入（注入点在分流前），WS 握手回调可读取 |
|
||||
| 请求体超限（413）/解析失败 | 不进 handleRead 成功分支，无注入，也无 handler 调用 |
|
||||
| `remote_ip_` 为 `"unknown"` | 理论上 accept 后必被 setRemoteInfo 覆盖；兜底值仍可注入，不影响正确性 |
|
||||
|
||||
### 3.3 性能
|
||||
|
||||
每请求一次 `erase` + `set`，复杂度 O(头字段数)（Beast fields 为线性表），实测开销可忽略；无堆分配之外的引入（`remote_ip_` 已存在）。
|
||||
|
||||
---
|
||||
|
||||
## 4. gateway 配套设计（A4 闭环）
|
||||
|
||||
### 4.1 配置项
|
||||
|
||||
`gateway.ini` 新增（confs 下发，与现有配置两层加载一致）：
|
||||
|
||||
```ini
|
||||
[Security]
|
||||
# 是否信任 X-Forwarded-For 作为限流/审计的客户端 IP 键。
|
||||
# on = 模式 A（WAF 协作）：WAF 覆写 XFF，可信（默认，保持现状）
|
||||
# off = 模式 B（独立部署）：XFF 客户端可伪造，改用 libhttp 注入的 X-Remote-Addr
|
||||
trust_xff = on
|
||||
```
|
||||
|
||||
环境变量覆盖：`TRUST_XFF=off`（与 `LISTEN_*`/`DB_*` 覆盖机制同路径）。**默认 on**，不改变现有生产（模式 A）行为。
|
||||
|
||||
### 4.2 代码改动（`gateway/src/main.cpp`，约 30 行）
|
||||
|
||||
1. **代理剥离**: `is_special_header()` 增加 `x-remote-addr`（小写比较已就绪）——防止两件事：(a) 模式 A 下把"WAF 的 IP"泄露给下游；(b) 客户端伪造值随转发到达下游。
|
||||
2. **限流键抽取**: 新增 helper，替换 5 处限流点的 XFF 直读（login/register/send_code/reset_password/captcha_image）：
|
||||
|
||||
```cpp
|
||||
/* 限流键：模式 A 取 WAF 注入的 XFF；模式 B（trust_xff=off）取 libhttp 注入的
|
||||
* 对端地址，客户端伪造 XFF 不再影响限流（审计 A4） */
|
||||
static std::string rate_limit_key(const http::request<http::string_body>& req) {
|
||||
auto it = req.base().find(_TRUST_XFF ? "X-Forwarded-For" : "X-Remote-Addr");
|
||||
if (it != req.base().end()) return std::string(it->value());
|
||||
return "direct";
|
||||
}
|
||||
```
|
||||
|
||||
3. **配置加载**: `main()` 读取 `[Security] trust_xff`（默认 true）→ `_TRUST_XFF` 全局 bool；启动日志打印当前模式。
|
||||
4. **README**: 模式 B 的 A4 降级提示翻转为已根治（`trust_xff=off` 时按对端地址限流），并补充模式 B 配置示例。
|
||||
|
||||
### 4.3 行为矩阵
|
||||
|
||||
| 部署 | trust_xff | 限流键 | 伪造 XFF 效果 |
|
||||
|------|-----------|--------|---------------|
|
||||
| 模式 A（WAF） | on（默认） | XFF（WAF 覆写） | 无效（现状） |
|
||||
| 模式 B（独立） | off | `X-Remote-Addr`（socket 对端） | **无效（新增）** |
|
||||
| 模式 B（独立） | on | XFF（客户端控制） | 可绕过限流（现状，文档已警示） |
|
||||
|
||||
---
|
||||
|
||||
## 5. 开发计划
|
||||
|
||||
| 步骤 | 文件 | 内容 |
|
||||
|------|------|------|
|
||||
| 1 | `libhttp/src/HttpServer_Request.cpp` | `handleRead` 成功分支注入 `X-Remote-Addr`（2 行 + 注释） |
|
||||
| 2 | `libhttp/test_server.cpp` | 用例：handler 断言收到注入头；客户端自带伪造头被覆盖 |
|
||||
| 3 | `libhttp/README.md` | 接口契约补充：`X-Remote-Addr` 由服务端注入、语义、禁止转发约定 |
|
||||
| 4 | `gateway/src/main.cpp` | `is_special_header` 加 `x-remote-addr`；`rate_limit_key()` helper；5 处限流点替换；`_TRUST_XFF` 加载 |
|
||||
| 5 | `confs/configs/gateway.ini` | `[Security] trust_xff = on`（含注释） |
|
||||
| 6 | `gateway/README.md` | 模式 B 提示翻转 + 配置项文档 |
|
||||
| 7 | `tests/blackbox/test_gateway.py` | E 段限流用例参数化：`trust_xff=off` 重启后伪造 XFF 不再重置限流桶 |
|
||||
|
||||
**编译依赖**: gateway 需重链新版 `us_http`；core/dnfs2/fsys 无需重编（头注入对它们透明），但建议随版本统一重建。
|
||||
|
||||
## 6. 测试计划
|
||||
|
||||
| 测试 | 预期 |
|
||||
|------|------|
|
||||
| libhttp 单测：handler 读取 `X-Remote-Addr` | 等于连接对端 IP（127.0.0.1） |
|
||||
| libhttp 单测：客户端发送 `x-remote-addr: 6.6.6.6` | handler 读到的是对端 IP，伪造值被覆盖 |
|
||||
| gateway 回归（trust_xff 默认 on） | 现有 34 断言全绿（32 passed / 2 env-skipped） |
|
||||
| gateway 模式 B 实测（trust_xff=off） | 同 XFF 连发 6 次 /login → 全部按对端 IP 计数；换伪造 XFF **不再**获得新桶（第 6 次起稳定 429） |
|
||||
| 代理转发检查 | 下游收到的请求不含 `X-Remote-Addr`（用 static echo 或抓包验证） |
|
||||
|
||||
## 7. 风险与兼容
|
||||
|
||||
| 风险 | 评估 | 缓解 |
|
||||
|------|------|------|
|
||||
| 下游泄露对端地址 | gateway 转发前剥离（§4.2-1）；core/dnfs2/fsys 不做转发，无泄露面 | 剥离进 `is_special_header`，与 XFF 同机制 |
|
||||
| 客户端伪造 | erase-then-set，任意大小写变体均被覆盖 | Beast fields 大小写不敏感保证 |
|
||||
| 既有消费方兼容 | handler 签名不变，不读该头即无感 | 非破坏设计本身 |
|
||||
| 模式 A 误配 trust_xff=off | 限流键变为 WAF 的 IP（127.0.0.1），全站共享一个桶 → 限流形同全局熔断 | 启动日志打印模式；README 配置矩阵警示 |
|
||||
|
||||
## 8. 工作量估算
|
||||
|
||||
| 部分 | 规模 |
|
||||
|------|------|
|
||||
| libhttp（实现 + 单测 + README） | ~40 行 |
|
||||
| gateway（helper + 5 处替换 + 配置 + 剥离） | ~35 行 |
|
||||
| 配置/文档/黑盒用例 | ~50 行 |
|
||||
| **合计** | 半天内（含构建与实测） |
|
||||
@@ -0,0 +1,265 @@
|
||||
# gateway 模块安全审计报告（2026-08-09 增量复审）
|
||||
|
||||
**审计日期**: 2026-08-09
|
||||
**审计范围**: `src/main.cpp`（v0.8.0，2526 行全量）、`inc/DbC.hpp`、`inc/LogC.hpp`、`inc/Conf.hpp`、`inc/ExpBase.hpp`
|
||||
**基线文档**: [gateway_SECURITY_AUDIT_20260807.md](gateway_SECURITY_AUDIT_20260807.md)（P0 3/3 已修复、P1 8 项 56%、P2 6 项 33%）
|
||||
**审计方式**: 全量代码走查 + 实机黑盒实证（重建二进制 → 启动 8443 → curl 探针 12 组 → 对照基线做增量发现）
|
||||
**配套交付**: `tests/blackbox/test_gateway.py` 重写 + `helpers.py` 增强（见 §六）
|
||||
|
||||
---
|
||||
|
||||
## 代码修复记录
|
||||
|
||||
**修复日期**: 2026-08-09（审计当日）
|
||||
|
||||
| 编号 | 状态 | 代码位置 | 修复说明 |
|
||||
|------|------|----------|----------|
|
||||
| A1 | ✅ 已修复 | `src/main.cpp` 关闭流程 | 删除 else 分支重复的 `log_flush_thread.join()`（ready 时 async 已完成 join） |
|
||||
| A2 | ✅ 已修复 | `handleProxy` 白名单检查 | `throw std::runtime_error("403")` → `THROW_EX_CUSTOM(HttpException, 2303, "Forbidden: target not allowed", 403, "*")` |
|
||||
| A3 | ✅ 已修复 | `handleLogin`/`handleRegister`/`handleResetPassword` | 字段提取 `obj.at()` 包 try/catch，缺字段返回 400 |
|
||||
| A5 | ✅ 已修复 | `is_special_header()` | 比较前统一转小写，小写 `x-forwarded-for` 等变体不再绕过剥离 |
|
||||
| A6 | ✅ 已修复 | `handleRegister` CAPTCHA 校验 | `verify_captcha()`（内置存储）→ `verify_captcha_remote()`（captcha2），与 `/captcha/image` 渠道互通 |
|
||||
| A7 | ✅ 已修复 | `src/main.cpp` 内置验证码渠道 | 整体移除：`POST /captcha` 路由、`handleCaptcha`、`generate_captcha_text`/`verify_captcha`、`_CAPTCHA_STORE`/`_CAPTCHA_MTX`（净 -79 行）；未注册路径按既有通配代理语义处理 |
|
||||
| A8 | ✅ 已修复 | `wrapperHttp` HttpException 分支 | 客户端消息从 `e.what()` 改为 `e.message()`，`[Http][Error NNNN]` 前缀仅保留在服务端 stderr/集中日志 |
|
||||
| A4 | 📝 文档化 | `README.md` 部署模式 B | 根因需 libhttp 向 handler 透传 TCP 对端地址（跨模块 API 变更），本轮以文档化闭环：README 模式 B 增加安全降级提示（伪造 XFF 可绕过限流，生产必须用模式 A） |
|
||||
|
||||
### 修复验证
|
||||
|
||||
| 验证项 | 结果 |
|
||||
|--------|------|
|
||||
| 编译（make，g++ -std=c++20） | ✓ 通过（仅 LogC.hpp 既有 snprintf 警告） |
|
||||
| 黑盒全量（test_gateway.py 34 断言） | ✓ **32 passed / 0 failed / 2 skipped**，锁定 A3 的两个红测试转绿 |
|
||||
| A1 关闭路径 | ✓ `kill` 后 "已退出" 正常打印，进程 Done 退出，无 core dump（两轮构建均复核） |
|
||||
| A2 | ✓ 代码路径确认（HttpException 经 wrapperHttp 映射 403；黑盒触达需有效 Token，待测试钩子） |
|
||||
| A8 实证 | ✓ `POST /login {}` → `{"success":false,"message":"Bad_Request"}`，无 `[Http][Error 2002]` 前缀 |
|
||||
| A7 实证 | ✓ `POST /captcha` 不再返回答案（落入通配代理语义，与其他未注册路径行为一致） |
|
||||
| 黑盒全量回归（修复 A6/A7/A8 后） | ✓ 32 passed / 0 failed / 2 skipped，无回归 |
|
||||
|
||||
---
|
||||
|
||||
## 一、审计结论摘要
|
||||
|
||||
本次为增量复审，基线已确认项不重复列出（复测见 §五）。新发现 8 项：
|
||||
|
||||
| 等级 | 数量 | 编号 |
|
||||
|------|------|------|
|
||||
| 🔴 P0 | 0 | — |
|
||||
| 🟠 P1 | 2 | A1（优雅关闭必崩溃）、A2（白名单拒绝返回 500 而非 403） |
|
||||
| 🟡 P2 | 4 | A3（缺字段 500）、A4（XFF 伪造绕过限流）、A5（头名大小写架空 P1-1 修复）、A6（双 CAPTCHA 渠道不互通） |
|
||||
| ⚪ P3 | 2 | A7（内置验证码接口明文给答案）、A8（内部错误码前缀外泄） |
|
||||
|
||||
**未发现新的 P0**。Token 验签链（RSA + 过期 + jti 黑名单 + 版本号）、PBKDF2（10 万轮 + 常数时间比较）、fail-closed 下游语义、防用户枚举 dummy 校验等核心机制实现正确。
|
||||
|
||||
---
|
||||
|
||||
## 二、P1 详细发现
|
||||
|
||||
### A1 [P1] 优雅关闭以崩溃收场：`log_flush_thread` double-join
|
||||
|
||||
**位置**: `src/main.cpp` L1066-1077
|
||||
|
||||
```cpp
|
||||
std::thread log_flush_thread([]() { logs().shutdown(); });
|
||||
auto future = std::async(std::launch::async, &std::thread::join, &log_flush_thread);
|
||||
if (future.wait_for(std::chrono::seconds(3)) == std::future_status::timeout) {
|
||||
log_flush_thread.detach();
|
||||
} else {
|
||||
log_flush_thread.join(); // ← async 已完成 join，此处二次 join
|
||||
}
|
||||
```
|
||||
|
||||
**根因**: `std::async(std::launch::async, &std::thread::join, &t)` 已在独立线程中执行完 `join()`；`wait_for` 返回 ready 后 else 分支再次 `t.join()`，此时 `joinable()==false` → 抛 `std::system_error`（EINVAL）→ 无人捕获 → `std::terminate` → SIGABRT。
|
||||
|
||||
**实证**:
|
||||
```
|
||||
$ kill <pid>
|
||||
terminate called after throwing an instance of 'std::system_error'
|
||||
what(): Invalid argument
|
||||
[1]+ Aborted (core dumped) nohup ./build/gateway.out
|
||||
```
|
||||
"已退出" 收尾日志不打印，进程以 core dump 结束。基线报告修复的"进程退出 bug"（0807 版）实际只修了一半：main 函数体能走完，但关闭路径最后一步仍崩溃。
|
||||
|
||||
**影响**: 每次正常关闭（SIGINT/SIGTERM）都产生 core dump；systemd 下触发不必要告警；关闭期日志是否落库无从保证。
|
||||
|
||||
**修复建议**: 删除 else 分支中重复的 `log_flush_thread.join()`（ready 即已 join 完毕）。
|
||||
|
||||
### A2 [P1] 白名单外 Target-Url 返回 500 而非文档宣称 403
|
||||
|
||||
**位置**: `src/main.cpp` L2401-2404（`handleProxy`）
|
||||
|
||||
```cpp
|
||||
if (!is_safe_target(target)) {
|
||||
throw std::runtime_error("403"); // 意图返回 403
|
||||
}
|
||||
```
|
||||
|
||||
**根因**: `std::runtime_error` 不是 `HttpException`，被 `wrapperHttp()`（L1288-1303）的 `std::exception` 兜底分支统一包装为 500 "Internal Server Error"。README 接口契约明确写"目标不在白名单 → 403"。
|
||||
|
||||
**实证局限**: 白名单检查在 Token 验签之后，无有效 Token 时只能走到 401，黑盒无法触达；但代码路径确凿（`runtime_error` 必经 500 兜底）。待测试钩子落地后补黑盒断言。
|
||||
|
||||
**影响**: 客户端无法区分"目标被拒"与"服务器故障"；监控告警误报 500。
|
||||
|
||||
**修复建议**: 改为 `THROW_EX_CUSTOM(HttpException, 2303, "Forbidden", 403, "*")`，与 L2370 验签失败的风格一致。
|
||||
|
||||
---
|
||||
|
||||
## 三、P2 详细发现
|
||||
|
||||
### A3 [P2] 缺失 JSON 字段 → 500 而非 400
|
||||
|
||||
**位置**: `src/main.cpp` L1373-1374（`handleLogin`，同型问题遍布 `handleRegister`/`handleResetPassword`/`handleSendEmailCode` 等）
|
||||
|
||||
```cpp
|
||||
auto& obj = json.as_object();
|
||||
std::string username = obj.at("username").as_string().c_str(); // ← 在 try 块外
|
||||
std::string password = obj.at("password").as_string().c_str();
|
||||
```
|
||||
|
||||
**根因**: JSON 语法解析有 try/catch（解析失败 → 400），但随后的字段提取 `obj.at()` 在 try 之外，`std::out_of_range` 直达 `wrapperHttp` 兜底 → 500。
|
||||
|
||||
**实证**: `POST /login` body `{}` → **500**（应为 400 Bad Request）。已由新版黑盒测试 A5/A8 两个用例锁定（当前红，修复后转绿）。
|
||||
|
||||
**修复建议**: 各 handler 的字段提取统一包进 try/catch，缺字段返回 400；或提供 `get_or_throw_400(obj, key)` 辅助函数。
|
||||
|
||||
### A4 [P2] 独立部署模式 B 下限流可被 XFF 伪造绕过
|
||||
|
||||
**位置**: `src/main.cpp` L1353-1359（`handleLogin`，`handleRegister`/`handleCaptchaImage` 同型）
|
||||
|
||||
```cpp
|
||||
std::string client_ip = req.base()["X-Forwarded-For"]; // 直连模式下即客户端伪造值
|
||||
if (client_ip.empty()) client_ip = req.remote_ip();
|
||||
```
|
||||
|
||||
**根因**: 模式 A（WAF 前置）中 WAF 会覆写 XFF，此逻辑安全；模式 B（独立部署）中 XFF 完全由客户端控制，每个伪造 IP 都是独立限流桶 → 限流失效。基线报告 P1-1 修复的是"向下游注入可信 XFF"，限流侧未覆盖。
|
||||
|
||||
**实证**:
|
||||
```
|
||||
XFF=10.1.1.1 连续 6 次 POST /login → 第 6 次 429
|
||||
XFF=10.1.1.2 立即再发 → 400（未限流，新桶）
|
||||
```
|
||||
|
||||
**影响**: 登录爆破/注册滥用防护在独立部署下可绕过（每次请求换一个 XFF 即无上限）。
|
||||
|
||||
**修复建议**: 二选一——(a) 配置项声明部署模式，模式 B 下限流 key 只用 `remote_ip()`；(b) README 明确"独立部署时安全降级：限流不可用"并建议仅在 WAF 后使用。
|
||||
|
||||
### A5 [P2] `is_special_header` 大小写敏感，伪造 XFF 绕过剥离，架空 P1-1 修复
|
||||
|
||||
**位置**: `src/main.cpp` L2464-2476
|
||||
|
||||
```cpp
|
||||
static bool is_special_header(const std::string& name) {
|
||||
return name == "Host" || name == "connection" || name == "Accept-Encoding" ||
|
||||
name == "X-Forwarded-For" || name == "X-Real-IP" || name == "Forwarded";
|
||||
}
|
||||
```
|
||||
|
||||
**根因**: Boost.Beast 的 `field.name_string()` 保留线上原始大小写。客户端发送小写 `x-forwarded-for: 6.6.6.6` 时不匹配 `"X-Forwarded-For"`，不被剥离；gateway 随后注入可信 XFF，下游收到**两个** XFF 头——若下游取第一个（常见实现），攻击者伪造值生效，基线 P1-1"注入可信 XFF"的修复被架空。
|
||||
|
||||
**实证**: 代码级确认（`name_string()` 行为见 Beast 文档；代理剥离逻辑 L2410-2420 逐头比对）。
|
||||
|
||||
**修复建议**: 比较前统一转小写（`boost::beast::iequals` 或手动 lowercase 后查集合），并将 `connection`/`keep-alive`/`transfer-encoding` 等逐跳头一并规范化。
|
||||
|
||||
### A6 [P2] 注册/登录 CAPTCHA 双渠道不互通，README 与实现不符
|
||||
|
||||
**位置**: `src/main.cpp` L1954（`handleRegister`）vs L1845-1887（`handleCaptchaImage`）
|
||||
|
||||
**根因**: 注册接口用 `verify_captcha()` 校验**内置** `_CAPTCHA_STORE`（内置 `GET/POST /captcha` 接口签发的 32 位 token）；而前端实际通过 `/captcha/image` 代理拿的是 **captcha2** 签发的 64 位 token。两个存储互不通信——前端走完图形验证码流程后，注册提交 captcha_token 永远 invalid。`/login` 走的是远端 `verify_captcha_remote()`（captcha2），与 `/captcha/image` 配套，正常。
|
||||
|
||||
**实证**: 不带 captcha 字段 `POST /login` → 400 Bad_Request（README 称"可选"，代码实为强制）。
|
||||
|
||||
**影响**: 注册流程的 CAPTCHA 环节对真实前端不可用（目前靠"不提交则跳过"绕过——即注册 CAPTCHA 形同虚设）；文档误导。
|
||||
|
||||
**修复建议**: 统一走 `verify_captcha_remote()`；废弃内置验证码接口（见 A7）；README 更新为"登录强制 CAPTCHA"。
|
||||
|
||||
---
|
||||
|
||||
## 四、P3 详细发现
|
||||
|
||||
### A7 [P3] 内置 `POST /captcha` 明文返回答案，人机验证无效化
|
||||
|
||||
**位置**: `src/main.cpp` 内置验证码接口（`_CAPTCHA_STORE` 配套路由）
|
||||
|
||||
**实证**:
|
||||
```
|
||||
$ curl -X POST :8443/captcha
|
||||
{"token":"...","text":"AmM2U"} ← 答案明文随 token 一起返回
|
||||
```
|
||||
|
||||
**叠加问题**: 该接口无速率限制、`_CAPTCHA_STORE` 无容量上限（内存 DoS 面）。
|
||||
|
||||
**修复建议**: 直接废弃内置验证码接口与 `_CAPTCHA_STORE`（captcha2 已全面接管），删除路由。
|
||||
|
||||
### A8 [P3] 错误消息携带内部错误码前缀外泄
|
||||
|
||||
**实证**: 错误响应体形如 `[Http][Error 2002] Bad_Request` —— 内部模块名与错误码编号随 4xx 返回客户端。
|
||||
|
||||
**评估**: 不构成路径/类型泄露（P0-2/P0-3 的脱敏基线未违反，16 条错误样本回归测试通过），但为攻击者提供内部结构测绘素材，且污染前端可直接展示的消息。
|
||||
|
||||
**修复建议**: `wrapperHttp` 返回客户端前剥离 `[模块][Error NNNN]` 前缀（完整信息保留在服务端日志）。
|
||||
|
||||
---
|
||||
|
||||
## 五、基线遗留项复测
|
||||
|
||||
| 编号 | 项 | 复测结果 |
|
||||
|------|----|----------|
|
||||
| P1-1 | 伪造 XFF 注入下游 | 修复已生效（标准大小写头被剥离），但**被 A5 架空** |
|
||||
| P2-3 | CORS 反射任意 Origin | ❌ 仍存在：`Origin: https://evil.example.com` 被原样反射进 ACAO |
|
||||
| — | 路径遍历防护 | ✅ `..`、`%2e`、`%2f`、`%5c` 四种变体全部 400 |
|
||||
| — | `/whoami` 无/伪造 Token | ✅ 恒 `{login:false}`，不泄露验签细节 |
|
||||
| — | `/admin/verify` fail-closed | ✅ 无/伪造 Token 均 401 |
|
||||
| — | `/captcha/image` 代理 | ✅ 200 + image/png + 64 位 hex token + `no-store` + 限流 10/min/IP |
|
||||
| — | 默认代理下游宕机语义 | ⚠️ static 宕机时默认路由 500（环境语义，非缺陷） |
|
||||
|
||||
---
|
||||
|
||||
## 六、黑盒测试补充（已落地）
|
||||
|
||||
### 6.1 测试套件脱节结论
|
||||
|
||||
- **test_gateway.py 旧版 10 场景已失效**：v0.8.0 后 /login 强制远端 CAPTCHA、/register 强制 email_code，无 OCR/收信能力的黑盒 happy path 全断；且无 db 清理，反复运行污染 Users 表
|
||||
- **test_captcha.py / test_smtp.py 形同虚设**：用 HTTP 测 pymsg/TCP 服务（captcha2:8009、smtp:8008），captcha 用例期望 32 位 token（captcha2 实为 64 位）
|
||||
- **可测试性根因**：认证 happy path 需要测试钩子——方案 a：captcha2/smtp 提供测试模式（固定验证码答案）；方案 b：`gateway.ini` 增加 `[Security] captcha_required/email_code_required` 开关
|
||||
|
||||
### 6.2 本轮交付（P0 部分，无需钩子）
|
||||
|
||||
**`tests/blackbox/helpers.py` 增强（+48 行）**:
|
||||
|
||||
| 工具 | 用途 |
|
||||
|------|------|
|
||||
| `random_xff()` | 随机 XFF 隔离限流桶（利用 A4 行为，避免限流用例互斥） |
|
||||
| `assert_no_internal_leak()` | 错误响应脱敏回归（P0-2/P0-3 基线：无源码路径/C++ 类型名） |
|
||||
| `db_execute()` | pymsg 调 db 做测试数据准备/清理 |
|
||||
|
||||
**`tests/blackbox/test_gateway.py` 重写（34 断言 6 段）**:
|
||||
|
||||
| 段 | 内容 | 断言数 |
|
||||
|----|------|--------|
|
||||
| A | 输入校验新契约（强制 captcha/email_code、fail-closed 语义） | 8 |
|
||||
| B | `/whoami`、`/admin/verify`（含伪造 Token） | 4 |
|
||||
| C | `/captcha/image` 代理（200/PNG/64 位 token/no-store） | 4 |
|
||||
| D | 无 Token 401 + 路径遍历矩阵（原始请求行，`%2e/%2f/%5c` 变体） | 5 |
|
||||
| E | 限流全谱：登录 6th→429、注册 4th→429、发码 6th→429、验证码 11th→429、换 XFF 隔离 | 9 |
|
||||
| F | CORS 反射现状固化（P2-3 修复后翻转断言）+ 16 条错误样本脱敏回归 | 2 |
|
||||
| 尾 | 测试用户清理（db `like` 删除，旧版 `test_%` 污染仅报告） | 2 |
|
||||
|
||||
**实测结果**（gateway 实跑）: `34 tests: 30 passed, 2 failed, 2 skipped`
|
||||
|
||||
- 2 个 FAIL 为刻意锁定 A3 的红测试（缺字段断言 400，当前实现 500），修复后自然转绿
|
||||
- 2 个 SKIP 为环境性（static 未运行；本地 db 无 Users 表——**本环境下注册写库必 500**，跑 P1 认证链路测试前需先执行 `db/create_sqlite3.sql` 建表）
|
||||
|
||||
### 6.3 后续清单（需钩子，P1/P2）
|
||||
|
||||
- 完整旅程（captcha → send_code → register → login → whoami → logout）、Cookie 链路（Set-Cookie 属性、代理注入 Authorization）、jti/版本号吊销、refresh_token、白名单 403（A2 转绿）、防枚举时序
|
||||
- test_captcha.py / test_smtp.py 重写为 pymsg 直连
|
||||
|
||||
---
|
||||
|
||||
## 七、修复建议优先级
|
||||
|
||||
| 优先级 | 项 | 说明 |
|
||||
|--------|----|------|
|
||||
| P1 | A1、A2 | double-join 删 3 行；A2 改抛 HttpException，均为小改动 |
|
||||
| P2 | A3、A5、A6、A4 | A3 修复后两个红测试转绿；A5 头名归一化；A6 统一走 captcha2；A4 配置或文档化 |
|
||||
| P3 | A7、A8 | 废弃内置验证码接口；错误消息剥离内部前缀 |
|
||||
| 配套 | 测试钩子 | captcha2/smtp 测试模式或 gateway.ini 开关，解锁 P1 测试清单 |
|
||||
Reference in new issue
Block a user