test(gateway): 黑盒测试重写 34 断言 + v0.8.0 增量审计闭环文档
- tests/blackbox/test_gateway.py 重写为 6 段 34 断言（输入校验/whoami+admin.verify/ captcha-image 代理/路径遍历矩阵/限流随机XFF隔离/CORS+脱敏回归），实测 32 passed/2 skipped - helpers.py 新增 random_xff/assert_no_internal_leak/db_execute - docs/security/gateway_SECURITY_AUDIT_20260809.md：A1-A8 增量复审（已全部修复） - docs/reports/libhttp_remote_addr_dev_doc.md：A4 根治方案（X-Remote-Addr 可信头注入） - docs/INDEX.md：security 29 篇/reports 12 篇同步
This commit is contained in:
qing committed
1 parent
7342de421b
commit
bbea1ee9d8
6 files changed
+821
-157
No files matched your search
+5
-3
@@ -7,9 +7,9 @@
|
||||
```
|
||||
docs/
|
||||
├── INDEX.md # 本文件（文档总索引）
|
||||
├── security/ # 安全审计与加固（28 篇）
|
||||
├── security/ # 安全审计与加固（29 篇）
|
||||
├── reviews/ # 代码审查日志（4 篇）
|
||||
└── reports/ # 分析报告与开发规划（11 篇）
|
||||
└── reports/ # 分析报告与开发规划（12 篇）
|
||||
```
|
||||
|
||||
---
|
||||
@@ -39,6 +39,7 @@ docs/
|
||||
| waf | [waf_SECURITY_AUDIT_20260801.md](security/waf_SECURITY_AUDIT_20260801.md) | Go WAF 网关（TLS、coraza、反向代理） |
|
||||
| gateway | [gateway_SECURITY_AUDIT_20260801.md](security/gateway_SECURITY_AUDIT_20260801.md) | C++20 应用网关（鉴权、Token、反向代理）初版 |
|
||||
| gateway | [gateway_SECURITY_AUDIT_20260807.md](security/gateway_SECURITY_AUDIT_20260807.md) | C++20 应用网关复审版（P0全部修复，进程退出bug修复） |
|
||||
| gateway | [gateway_SECURITY_AUDIT_20260809.md](security/gateway_SECURITY_AUDIT_20260809.md) | C++20 应用网关增量复审（8 项新发现：关闭崩溃、头名大小写架空XFF修复等；黑盒测试重写落地） |
|
||||
| core | [core_SECURITY_AUDIT_20260801.md](security/core_SECURITY_AUDIT_20260801.md) | C++20 进程托管服务（PMC/Nidus） |
|
||||
| db | [db_SECURITY_AUDIT_20260801.md](security/db_SECURITY_AUDIT_20260801.md) | Python 数据库服务（pymsg、SQLAlchemy、日志收集） |
|
||||
| db2 | [db2_SECURITY_AUDIT_20260806.md](security/db2_SECURITY_AUDIT_20260806.md) | C++20 数据库 RPC 服务（db 的 C++ 重实现，SQLite C API） |
|
||||
@@ -80,7 +81,7 @@ docs/
|
||||
|------|------|
|
||||
| [blackbird_research_report.md](reports/blackbird_research_report.md) | blackbird 项目研究报告（安全架构分析、改进建议、里程碑规划） |
|
||||
| [core_service_registry_dev_doc.md](reports/core_service_registry_dev_doc.md) | Core 模块注册中心功能扩展开发文档（服务注册/发现/健康守护/自动重启） |
|
||||
| [auth_service_plan.md](reports/auth_service_plan.md) | 权限系统独立化计划书（认证授权从 gateway 拆分为独立服务） |
|
||||
| [auth_service_plan.md](reports/auth_service_plan.md) | 认证独立化（CA 模块）开发文档（waf→ca→gateway 前置拓扑；gateway 退 8445 纯转发不验签；下游/WAF/前端零改动） |
|
||||
| [aibox_open_dev_plan.md](reports/aibox_open_dev_plan.md) | aibox 开放版开发计划（命令注入漏洞修复、安全沙箱方案） |
|
||||
| [aibox_file_network_cli_refactor.md](reports/aibox_file_network_cli_refactor.md) | aibox 文件/网络操作命令行化重构计划 |
|
||||
| [blackbird_promo_full.md](reports/blackbird_promo_full.md) | blackbird 项目完整版宣传文案 |
|
||||
@@ -90,6 +91,7 @@ docs/
|
||||
| [actpred_pretrain_test_20260808.md](reports/actpred_pretrain_test_20260808.md) | actpred 预训练与推理测试报告（action_dim=18 变更、.mt 解析器、预训练、推理基准、NPU 调研） |
|
||||
| [captcha_cpp_rewrite_dev_doc.md](reports/captcha_cpp_rewrite_dev_doc.md) | captcha 模块 C++20 重写开发方案（FreeType + stb_image_write 替代 Pillow，协议兼容零改动） |
|
||||
| [smtp_cpp_rewrite_dev_doc.md](reports/smtp_cpp_rewrite_dev_doc.md) | smtp 模块 C++20 重写开发方案（SMTP_SSL 客户端手写，审计 7 项遗留一并在重写中修复，零新增系统依赖） |
|
||||
| [libhttp_remote_addr_dev_doc.md](reports/libhttp_remote_addr_dev_doc.md) | libhttp 对端地址透传开发方案（X-Remote-Addr 可信头注入，非破坏；gateway trust_xff 配套，闭环审计 A4） |
|
||||
|
||||
---
|
||||
|
||||
|
||||
@@ -0,0 +1,179 @@
|
||||
# libhttp 对端地址透传 · 开发文档
|
||||
|
||||
**日期**: 2026-08-09
|
||||
**背景**: gateway 审计 A4（[gateway_SECURITY_AUDIT_20260809.md](../security/gateway_SECURITY_AUDIT_20260809.md)）——独立部署模式 B 下 RateLimiter 以客户端可控的 `X-Forwarded-For` 为限流键，伪造 XFF 即绕过全部 IP 级限流。根治需要 libhttp 向 handler 透传 TCP 对端地址。
|
||||
**范围**: `libhttp`（注入实现）、`gateway`（消费方配套）；其余消费方（core/dnfs2/fsys）零改动。
|
||||
|
||||
---
|
||||
|
||||
## 0. 摘要
|
||||
|
||||
libhttp 的 Session 层**已经持有**对端地址（accept 时 `setRemoteInfo()`），但未向请求处理链路透传：`HttpRequestHandler` 只收到 `(req, params)`。本方案在 Session 派发前向请求注入**可信私有头** `X-Remote-Addr`（先剥离客户端伪造值再写入对端 IP），实现非破坏性透传；gateway 侧新增 `trust_xff` 配置选择限流键，闭环 A4。
|
||||
|
||||
---
|
||||
|
||||
## 1. 现状分析
|
||||
|
||||
### 1.1 调用链与缺口
|
||||
|
||||
```
|
||||
Listener::onAccept ← socket.remote_endpoint() 在此可用
|
||||
└─ session->setRemoteInfo(ip, port) （HttpServer_Listener.cpp L50）
|
||||
└─ Session::handleRead （解析完成，WS/HTTP 分流）
|
||||
├─ WS 路径：findWsProxyRoute(path)(request_) / findWsRoute
|
||||
└─ HTTP 路径：processRequest(req)
|
||||
└─ server_->handleRequest(req) （HttpServer_Request.cpp L8）
|
||||
└─ handler(req, params) ← 对端地址在此丢失
|
||||
```
|
||||
|
||||
**缺口**: `remote_ip_`/`remote_port_` 是 `Session` 私有成员（`HttpServerImpl.hpp` L122-123），仅用于 SSL 握手与读写错误日志；`handleRequest`/`handler` 拿不到。
|
||||
|
||||
### 1.2 已有基础设施（无需新建）
|
||||
|
||||
| 设施 | 位置 | 说明 |
|
||||
|------|------|------|
|
||||
| `Session::setRemoteInfo(ip, port)` | `HttpServerImpl.hpp` L60 | accept 时已被调用 |
|
||||
| `Session::getRemoteAddress()` | `HttpServerImpl.hpp` L63 | `"ip:port"` 形式 |
|
||||
| `remote_ip_` / `remote_port_` 成员 | `HttpServerImpl.hpp` L122-123 | 默认 `"unknown"` / 0 |
|
||||
| WS 侧对端地址 | `WebSocketConnectHandler` | WS 路径已有 `remoteAddress` 回调参数，HTTP 路径独缺 |
|
||||
|
||||
### 1.3 消费方清单（`us_http` 链接者）
|
||||
|
||||
| 模块 | 受影响 | 说明 |
|
||||
|------|--------|------|
|
||||
| gateway | 配套改造 | 限流键切换 + 代理剥离私有头（A4 闭环） |
|
||||
| core / dnfs2 / fsys | 零改动 | 非破坏方案下无感知 |
|
||||
|
||||
---
|
||||
|
||||
## 2. 方案对比
|
||||
|
||||
| 方案 | 改动 | 破坏性 | 评价 |
|
||||
|------|------|--------|------|
|
||||
| **A. handler 签名扩展** | `HttpRequestHandler` 加第三参 `remote_addr` | 🔴 破坏：4 模块全部路由注册 lambda（`[](const auto& req, const auto& params)`）编译失败，gateway 约 15 处 | 类型安全但爆炸半径大；std::function 签名变更无渐进路径 |
|
||||
| **B. 可信私有头注入** | Session 派发前 erase+set `X-Remote-Addr` | 🟢 非破坏：handler 签名不变，消费方 opt-in 读取 | **推荐**。与 WAF 覆写 XFF、gateway 注入可信 XFF 的既有模式同构 |
|
||||
| **C. 新增 Ex 注册 API** | `HttpRequestHandlerEx` + `getEx/postEx/...` | 🟢 非破坏 | 长期双 API 并存，路由查找分叉，不值得 |
|
||||
|
||||
**结论：选 B**。若未来确需类型安全（如更多连接元信息：TLS 指纹、证书序列号），可在 B 稳定后再评估 A，B 作为便利层保留。
|
||||
|
||||
---
|
||||
|
||||
## 3. 方案 B 详细设计
|
||||
|
||||
### 3.1 注入点与语义
|
||||
|
||||
**注入点**: `Session::handleRead()` 解析成功分支（`HttpServer_Request.cpp` L266 `if (!ec)` 内、WS 分流判断**之前**）。单点覆盖 HTTP 与 WS-upgrade 两条路径，且 keep-alive 连接复用时每个请求独立注入（对端地址在同一连接内不变，重复注入无害）。
|
||||
|
||||
**语义（strip-then-set，防伪造）**:
|
||||
|
||||
```cpp
|
||||
// handleRead() if (!ec) 分支最前面：
|
||||
// 注入可信对端地址：先剥离客户端伪造值，再写入 socket 对端 IP（A4 根治）
|
||||
request_.erase("X-Remote-Addr"); // Beast fields 大小写不敏感
|
||||
request_.set("X-Remote-Addr", remote_ip_);
|
||||
```
|
||||
|
||||
- Beast 的 `fields::erase/set` 对头名大小写不敏感，`set` 本身即覆盖全部同名字段；显式 `erase` 先行使意图自解释。
|
||||
- 头名 `X-Remote-Addr`：与 `X-Forwarded-For`/`X-Real-IP` 区分语义——**它不是转发链信息，而是本跳的 socket 事实**，任何代理都不得原样转发（见 §4.2 剥离配套）。
|
||||
|
||||
### 3.2 边缘情况
|
||||
|
||||
| 场景 | 行为 |
|
||||
|------|------|
|
||||
| 客户端伪造 `X-Remote-Addr`（任意大小写） | 被 erase，无效 |
|
||||
| keep-alive 同连接第 N 个请求 | 每次解析后重新注入，值不变 |
|
||||
| WS-upgrade 请求 | 同样注入（注入点在分流前），WS 握手回调可读取 |
|
||||
| 请求体超限（413）/解析失败 | 不进 handleRead 成功分支，无注入，也无 handler 调用 |
|
||||
| `remote_ip_` 为 `"unknown"` | 理论上 accept 后必被 setRemoteInfo 覆盖；兜底值仍可注入，不影响正确性 |
|
||||
|
||||
### 3.3 性能
|
||||
|
||||
每请求一次 `erase` + `set`，复杂度 O(头字段数)（Beast fields 为线性表），实测开销可忽略；无堆分配之外的引入（`remote_ip_` 已存在）。
|
||||
|
||||
---
|
||||
|
||||
## 4. gateway 配套设计（A4 闭环）
|
||||
|
||||
### 4.1 配置项
|
||||
|
||||
`gateway.ini` 新增（confs 下发，与现有配置两层加载一致）：
|
||||
|
||||
```ini
|
||||
[Security]
|
||||
# 是否信任 X-Forwarded-For 作为限流/审计的客户端 IP 键。
|
||||
# on = 模式 A（WAF 协作）：WAF 覆写 XFF，可信（默认，保持现状）
|
||||
# off = 模式 B（独立部署）：XFF 客户端可伪造，改用 libhttp 注入的 X-Remote-Addr
|
||||
trust_xff = on
|
||||
```
|
||||
|
||||
环境变量覆盖：`TRUST_XFF=off`（与 `LISTEN_*`/`DB_*` 覆盖机制同路径）。**默认 on**，不改变现有生产（模式 A）行为。
|
||||
|
||||
### 4.2 代码改动（`gateway/src/main.cpp`，约 30 行）
|
||||
|
||||
1. **代理剥离**: `is_special_header()` 增加 `x-remote-addr`（小写比较已就绪）——防止两件事：(a) 模式 A 下把"WAF 的 IP"泄露给下游；(b) 客户端伪造值随转发到达下游。
|
||||
2. **限流键抽取**: 新增 helper，替换 5 处限流点的 XFF 直读（login/register/send_code/reset_password/captcha_image）：
|
||||
|
||||
```cpp
|
||||
/* 限流键：模式 A 取 WAF 注入的 XFF；模式 B（trust_xff=off）取 libhttp 注入的
|
||||
* 对端地址，客户端伪造 XFF 不再影响限流（审计 A4） */
|
||||
static std::string rate_limit_key(const http::request<http::string_body>& req) {
|
||||
auto it = req.base().find(_TRUST_XFF ? "X-Forwarded-For" : "X-Remote-Addr");
|
||||
if (it != req.base().end()) return std::string(it->value());
|
||||
return "direct";
|
||||
}
|
||||
```
|
||||
|
||||
3. **配置加载**: `main()` 读取 `[Security] trust_xff`（默认 true）→ `_TRUST_XFF` 全局 bool；启动日志打印当前模式。
|
||||
4. **README**: 模式 B 的 A4 降级提示翻转为已根治（`trust_xff=off` 时按对端地址限流），并补充模式 B 配置示例。
|
||||
|
||||
### 4.3 行为矩阵
|
||||
|
||||
| 部署 | trust_xff | 限流键 | 伪造 XFF 效果 |
|
||||
|------|-----------|--------|---------------|
|
||||
| 模式 A（WAF） | on（默认） | XFF（WAF 覆写） | 无效（现状） |
|
||||
| 模式 B（独立） | off | `X-Remote-Addr`（socket 对端） | **无效（新增）** |
|
||||
| 模式 B（独立） | on | XFF（客户端控制） | 可绕过限流（现状，文档已警示） |
|
||||
|
||||
---
|
||||
|
||||
## 5. 开发计划
|
||||
|
||||
| 步骤 | 文件 | 内容 |
|
||||
|------|------|------|
|
||||
| 1 | `libhttp/src/HttpServer_Request.cpp` | `handleRead` 成功分支注入 `X-Remote-Addr`（2 行 + 注释） |
|
||||
| 2 | `libhttp/test_server.cpp` | 用例：handler 断言收到注入头；客户端自带伪造头被覆盖 |
|
||||
| 3 | `libhttp/README.md` | 接口契约补充：`X-Remote-Addr` 由服务端注入、语义、禁止转发约定 |
|
||||
| 4 | `gateway/src/main.cpp` | `is_special_header` 加 `x-remote-addr`；`rate_limit_key()` helper；5 处限流点替换；`_TRUST_XFF` 加载 |
|
||||
| 5 | `confs/configs/gateway.ini` | `[Security] trust_xff = on`（含注释） |
|
||||
| 6 | `gateway/README.md` | 模式 B 提示翻转 + 配置项文档 |
|
||||
| 7 | `tests/blackbox/test_gateway.py` | E 段限流用例参数化：`trust_xff=off` 重启后伪造 XFF 不再重置限流桶 |
|
||||
|
||||
**编译依赖**: gateway 需重链新版 `us_http`；core/dnfs2/fsys 无需重编（头注入对它们透明），但建议随版本统一重建。
|
||||
|
||||
## 6. 测试计划
|
||||
|
||||
| 测试 | 预期 |
|
||||
|------|------|
|
||||
| libhttp 单测：handler 读取 `X-Remote-Addr` | 等于连接对端 IP（127.0.0.1） |
|
||||
| libhttp 单测：客户端发送 `x-remote-addr: 6.6.6.6` | handler 读到的是对端 IP，伪造值被覆盖 |
|
||||
| gateway 回归（trust_xff 默认 on） | 现有 34 断言全绿（32 passed / 2 env-skipped） |
|
||||
| gateway 模式 B 实测（trust_xff=off） | 同 XFF 连发 6 次 /login → 全部按对端 IP 计数；换伪造 XFF **不再**获得新桶（第 6 次起稳定 429） |
|
||||
| 代理转发检查 | 下游收到的请求不含 `X-Remote-Addr`（用 static echo 或抓包验证） |
|
||||
|
||||
## 7. 风险与兼容
|
||||
|
||||
| 风险 | 评估 | 缓解 |
|
||||
|------|------|------|
|
||||
| 下游泄露对端地址 | gateway 转发前剥离（§4.2-1）；core/dnfs2/fsys 不做转发，无泄露面 | 剥离进 `is_special_header`，与 XFF 同机制 |
|
||||
| 客户端伪造 | erase-then-set，任意大小写变体均被覆盖 | Beast fields 大小写不敏感保证 |
|
||||
| 既有消费方兼容 | handler 签名不变，不读该头即无感 | 非破坏设计本身 |
|
||||
| 模式 A 误配 trust_xff=off | 限流键变为 WAF 的 IP（127.0.0.1），全站共享一个桶 → 限流形同全局熔断 | 启动日志打印模式；README 配置矩阵警示 |
|
||||
|
||||
## 8. 工作量估算
|
||||
|
||||
| 部分 | 规模 |
|
||||
|------|------|
|
||||
| libhttp（实现 + 单测 + README） | ~40 行 |
|
||||
| gateway（helper + 5 处替换 + 配置 + 剥离） | ~35 行 |
|
||||
| 配置/文档/黑盒用例 | ~50 行 |
|
||||
| **合计** | 半天内（含构建与实测） |
|
||||
@@ -0,0 +1,265 @@
|
||||
# gateway 模块安全审计报告（2026-08-09 增量复审）
|
||||
|
||||
**审计日期**: 2026-08-09
|
||||
**审计范围**: `src/main.cpp`（v0.8.0，2526 行全量）、`inc/DbC.hpp`、`inc/LogC.hpp`、`inc/Conf.hpp`、`inc/ExpBase.hpp`
|
||||
**基线文档**: [gateway_SECURITY_AUDIT_20260807.md](gateway_SECURITY_AUDIT_20260807.md)（P0 3/3 已修复、P1 8 项 56%、P2 6 项 33%）
|
||||
**审计方式**: 全量代码走查 + 实机黑盒实证（重建二进制 → 启动 8443 → curl 探针 12 组 → 对照基线做增量发现）
|
||||
**配套交付**: `tests/blackbox/test_gateway.py` 重写 + `helpers.py` 增强（见 §六）
|
||||
|
||||
---
|
||||
|
||||
## 代码修复记录
|
||||
|
||||
**修复日期**: 2026-08-09（审计当日）
|
||||
|
||||
| 编号 | 状态 | 代码位置 | 修复说明 |
|
||||
|------|------|----------|----------|
|
||||
| A1 | ✅ 已修复 | `src/main.cpp` 关闭流程 | 删除 else 分支重复的 `log_flush_thread.join()`（ready 时 async 已完成 join） |
|
||||
| A2 | ✅ 已修复 | `handleProxy` 白名单检查 | `throw std::runtime_error("403")` → `THROW_EX_CUSTOM(HttpException, 2303, "Forbidden: target not allowed", 403, "*")` |
|
||||
| A3 | ✅ 已修复 | `handleLogin`/`handleRegister`/`handleResetPassword` | 字段提取 `obj.at()` 包 try/catch，缺字段返回 400 |
|
||||
| A5 | ✅ 已修复 | `is_special_header()` | 比较前统一转小写，小写 `x-forwarded-for` 等变体不再绕过剥离 |
|
||||
| A6 | ✅ 已修复 | `handleRegister` CAPTCHA 校验 | `verify_captcha()`（内置存储）→ `verify_captcha_remote()`（captcha2），与 `/captcha/image` 渠道互通 |
|
||||
| A7 | ✅ 已修复 | `src/main.cpp` 内置验证码渠道 | 整体移除：`POST /captcha` 路由、`handleCaptcha`、`generate_captcha_text`/`verify_captcha`、`_CAPTCHA_STORE`/`_CAPTCHA_MTX`（净 -79 行）；未注册路径按既有通配代理语义处理 |
|
||||
| A8 | ✅ 已修复 | `wrapperHttp` HttpException 分支 | 客户端消息从 `e.what()` 改为 `e.message()`，`[Http][Error NNNN]` 前缀仅保留在服务端 stderr/集中日志 |
|
||||
| A4 | 📝 文档化 | `README.md` 部署模式 B | 根因需 libhttp 向 handler 透传 TCP 对端地址（跨模块 API 变更），本轮以文档化闭环：README 模式 B 增加安全降级提示（伪造 XFF 可绕过限流，生产必须用模式 A） |
|
||||
|
||||
### 修复验证
|
||||
|
||||
| 验证项 | 结果 |
|
||||
|--------|------|
|
||||
| 编译（make，g++ -std=c++20） | ✓ 通过（仅 LogC.hpp 既有 snprintf 警告） |
|
||||
| 黑盒全量（test_gateway.py 34 断言） | ✓ **32 passed / 0 failed / 2 skipped**，锁定 A3 的两个红测试转绿 |
|
||||
| A1 关闭路径 | ✓ `kill` 后 "已退出" 正常打印，进程 Done 退出，无 core dump（两轮构建均复核） |
|
||||
| A2 | ✓ 代码路径确认（HttpException 经 wrapperHttp 映射 403；黑盒触达需有效 Token，待测试钩子） |
|
||||
| A8 实证 | ✓ `POST /login {}` → `{"success":false,"message":"Bad_Request"}`，无 `[Http][Error 2002]` 前缀 |
|
||||
| A7 实证 | ✓ `POST /captcha` 不再返回答案（落入通配代理语义，与其他未注册路径行为一致） |
|
||||
| 黑盒全量回归（修复 A6/A7/A8 后） | ✓ 32 passed / 0 failed / 2 skipped，无回归 |
|
||||
|
||||
---
|
||||
|
||||
## 一、审计结论摘要
|
||||
|
||||
本次为增量复审，基线已确认项不重复列出（复测见 §五）。新发现 8 项：
|
||||
|
||||
| 等级 | 数量 | 编号 |
|
||||
|------|------|------|
|
||||
| 🔴 P0 | 0 | — |
|
||||
| 🟠 P1 | 2 | A1（优雅关闭必崩溃）、A2（白名单拒绝返回 500 而非 403） |
|
||||
| 🟡 P2 | 4 | A3（缺字段 500）、A4（XFF 伪造绕过限流）、A5（头名大小写架空 P1-1 修复）、A6（双 CAPTCHA 渠道不互通） |
|
||||
| ⚪ P3 | 2 | A7（内置验证码接口明文给答案）、A8（内部错误码前缀外泄） |
|
||||
|
||||
**未发现新的 P0**。Token 验签链（RSA + 过期 + jti 黑名单 + 版本号）、PBKDF2（10 万轮 + 常数时间比较）、fail-closed 下游语义、防用户枚举 dummy 校验等核心机制实现正确。
|
||||
|
||||
---
|
||||
|
||||
## 二、P1 详细发现
|
||||
|
||||
### A1 [P1] 优雅关闭以崩溃收场：`log_flush_thread` double-join
|
||||
|
||||
**位置**: `src/main.cpp` L1066-1077
|
||||
|
||||
```cpp
|
||||
std::thread log_flush_thread([]() { logs().shutdown(); });
|
||||
auto future = std::async(std::launch::async, &std::thread::join, &log_flush_thread);
|
||||
if (future.wait_for(std::chrono::seconds(3)) == std::future_status::timeout) {
|
||||
log_flush_thread.detach();
|
||||
} else {
|
||||
log_flush_thread.join(); // ← async 已完成 join，此处二次 join
|
||||
}
|
||||
```
|
||||
|
||||
**根因**: `std::async(std::launch::async, &std::thread::join, &t)` 已在独立线程中执行完 `join()`；`wait_for` 返回 ready 后 else 分支再次 `t.join()`，此时 `joinable()==false` → 抛 `std::system_error`（EINVAL）→ 无人捕获 → `std::terminate` → SIGABRT。
|
||||
|
||||
**实证**:
|
||||
```
|
||||
$ kill <pid>
|
||||
terminate called after throwing an instance of 'std::system_error'
|
||||
what(): Invalid argument
|
||||
[1]+ Aborted (core dumped) nohup ./build/gateway.out
|
||||
```
|
||||
"已退出" 收尾日志不打印，进程以 core dump 结束。基线报告修复的"进程退出 bug"（0807 版）实际只修了一半：main 函数体能走完，但关闭路径最后一步仍崩溃。
|
||||
|
||||
**影响**: 每次正常关闭（SIGINT/SIGTERM）都产生 core dump；systemd 下触发不必要告警；关闭期日志是否落库无从保证。
|
||||
|
||||
**修复建议**: 删除 else 分支中重复的 `log_flush_thread.join()`（ready 即已 join 完毕）。
|
||||
|
||||
### A2 [P1] 白名单外 Target-Url 返回 500 而非文档宣称 403
|
||||
|
||||
**位置**: `src/main.cpp` L2401-2404（`handleProxy`）
|
||||
|
||||
```cpp
|
||||
if (!is_safe_target(target)) {
|
||||
throw std::runtime_error("403"); // 意图返回 403
|
||||
}
|
||||
```
|
||||
|
||||
**根因**: `std::runtime_error` 不是 `HttpException`，被 `wrapperHttp()`（L1288-1303）的 `std::exception` 兜底分支统一包装为 500 "Internal Server Error"。README 接口契约明确写"目标不在白名单 → 403"。
|
||||
|
||||
**实证局限**: 白名单检查在 Token 验签之后，无有效 Token 时只能走到 401，黑盒无法触达；但代码路径确凿（`runtime_error` 必经 500 兜底）。待测试钩子落地后补黑盒断言。
|
||||
|
||||
**影响**: 客户端无法区分"目标被拒"与"服务器故障"；监控告警误报 500。
|
||||
|
||||
**修复建议**: 改为 `THROW_EX_CUSTOM(HttpException, 2303, "Forbidden", 403, "*")`，与 L2370 验签失败的风格一致。
|
||||
|
||||
---
|
||||
|
||||
## 三、P2 详细发现
|
||||
|
||||
### A3 [P2] 缺失 JSON 字段 → 500 而非 400
|
||||
|
||||
**位置**: `src/main.cpp` L1373-1374（`handleLogin`，同型问题遍布 `handleRegister`/`handleResetPassword`/`handleSendEmailCode` 等）
|
||||
|
||||
```cpp
|
||||
auto& obj = json.as_object();
|
||||
std::string username = obj.at("username").as_string().c_str(); // ← 在 try 块外
|
||||
std::string password = obj.at("password").as_string().c_str();
|
||||
```
|
||||
|
||||
**根因**: JSON 语法解析有 try/catch（解析失败 → 400），但随后的字段提取 `obj.at()` 在 try 之外，`std::out_of_range` 直达 `wrapperHttp` 兜底 → 500。
|
||||
|
||||
**实证**: `POST /login` body `{}` → **500**（应为 400 Bad Request）。已由新版黑盒测试 A5/A8 两个用例锁定（当前红，修复后转绿）。
|
||||
|
||||
**修复建议**: 各 handler 的字段提取统一包进 try/catch，缺字段返回 400；或提供 `get_or_throw_400(obj, key)` 辅助函数。
|
||||
|
||||
### A4 [P2] 独立部署模式 B 下限流可被 XFF 伪造绕过
|
||||
|
||||
**位置**: `src/main.cpp` L1353-1359（`handleLogin`，`handleRegister`/`handleCaptchaImage` 同型）
|
||||
|
||||
```cpp
|
||||
std::string client_ip = req.base()["X-Forwarded-For"]; // 直连模式下即客户端伪造值
|
||||
if (client_ip.empty()) client_ip = req.remote_ip();
|
||||
```
|
||||
|
||||
**根因**: 模式 A（WAF 前置）中 WAF 会覆写 XFF，此逻辑安全；模式 B（独立部署）中 XFF 完全由客户端控制，每个伪造 IP 都是独立限流桶 → 限流失效。基线报告 P1-1 修复的是"向下游注入可信 XFF"，限流侧未覆盖。
|
||||
|
||||
**实证**:
|
||||
```
|
||||
XFF=10.1.1.1 连续 6 次 POST /login → 第 6 次 429
|
||||
XFF=10.1.1.2 立即再发 → 400（未限流，新桶）
|
||||
```
|
||||
|
||||
**影响**: 登录爆破/注册滥用防护在独立部署下可绕过（每次请求换一个 XFF 即无上限）。
|
||||
|
||||
**修复建议**: 二选一——(a) 配置项声明部署模式，模式 B 下限流 key 只用 `remote_ip()`；(b) README 明确"独立部署时安全降级：限流不可用"并建议仅在 WAF 后使用。
|
||||
|
||||
### A5 [P2] `is_special_header` 大小写敏感，伪造 XFF 绕过剥离，架空 P1-1 修复
|
||||
|
||||
**位置**: `src/main.cpp` L2464-2476
|
||||
|
||||
```cpp
|
||||
static bool is_special_header(const std::string& name) {
|
||||
return name == "Host" || name == "connection" || name == "Accept-Encoding" ||
|
||||
name == "X-Forwarded-For" || name == "X-Real-IP" || name == "Forwarded";
|
||||
}
|
||||
```
|
||||
|
||||
**根因**: Boost.Beast 的 `field.name_string()` 保留线上原始大小写。客户端发送小写 `x-forwarded-for: 6.6.6.6` 时不匹配 `"X-Forwarded-For"`，不被剥离；gateway 随后注入可信 XFF，下游收到**两个** XFF 头——若下游取第一个（常见实现），攻击者伪造值生效，基线 P1-1"注入可信 XFF"的修复被架空。
|
||||
|
||||
**实证**: 代码级确认（`name_string()` 行为见 Beast 文档；代理剥离逻辑 L2410-2420 逐头比对）。
|
||||
|
||||
**修复建议**: 比较前统一转小写（`boost::beast::iequals` 或手动 lowercase 后查集合），并将 `connection`/`keep-alive`/`transfer-encoding` 等逐跳头一并规范化。
|
||||
|
||||
### A6 [P2] 注册/登录 CAPTCHA 双渠道不互通，README 与实现不符
|
||||
|
||||
**位置**: `src/main.cpp` L1954（`handleRegister`）vs L1845-1887（`handleCaptchaImage`）
|
||||
|
||||
**根因**: 注册接口用 `verify_captcha()` 校验**内置** `_CAPTCHA_STORE`（内置 `GET/POST /captcha` 接口签发的 32 位 token）；而前端实际通过 `/captcha/image` 代理拿的是 **captcha2** 签发的 64 位 token。两个存储互不通信——前端走完图形验证码流程后，注册提交 captcha_token 永远 invalid。`/login` 走的是远端 `verify_captcha_remote()`（captcha2），与 `/captcha/image` 配套，正常。
|
||||
|
||||
**实证**: 不带 captcha 字段 `POST /login` → 400 Bad_Request（README 称"可选"，代码实为强制）。
|
||||
|
||||
**影响**: 注册流程的 CAPTCHA 环节对真实前端不可用（目前靠"不提交则跳过"绕过——即注册 CAPTCHA 形同虚设）；文档误导。
|
||||
|
||||
**修复建议**: 统一走 `verify_captcha_remote()`；废弃内置验证码接口（见 A7）；README 更新为"登录强制 CAPTCHA"。
|
||||
|
||||
---
|
||||
|
||||
## 四、P3 详细发现
|
||||
|
||||
### A7 [P3] 内置 `POST /captcha` 明文返回答案，人机验证无效化
|
||||
|
||||
**位置**: `src/main.cpp` 内置验证码接口（`_CAPTCHA_STORE` 配套路由）
|
||||
|
||||
**实证**:
|
||||
```
|
||||
$ curl -X POST :8443/captcha
|
||||
{"token":"...","text":"AmM2U"} ← 答案明文随 token 一起返回
|
||||
```
|
||||
|
||||
**叠加问题**: 该接口无速率限制、`_CAPTCHA_STORE` 无容量上限（内存 DoS 面）。
|
||||
|
||||
**修复建议**: 直接废弃内置验证码接口与 `_CAPTCHA_STORE`（captcha2 已全面接管），删除路由。
|
||||
|
||||
### A8 [P3] 错误消息携带内部错误码前缀外泄
|
||||
|
||||
**实证**: 错误响应体形如 `[Http][Error 2002] Bad_Request` —— 内部模块名与错误码编号随 4xx 返回客户端。
|
||||
|
||||
**评估**: 不构成路径/类型泄露（P0-2/P0-3 的脱敏基线未违反，16 条错误样本回归测试通过），但为攻击者提供内部结构测绘素材，且污染前端可直接展示的消息。
|
||||
|
||||
**修复建议**: `wrapperHttp` 返回客户端前剥离 `[模块][Error NNNN]` 前缀（完整信息保留在服务端日志）。
|
||||
|
||||
---
|
||||
|
||||
## 五、基线遗留项复测
|
||||
|
||||
| 编号 | 项 | 复测结果 |
|
||||
|------|----|----------|
|
||||
| P1-1 | 伪造 XFF 注入下游 | 修复已生效（标准大小写头被剥离），但**被 A5 架空** |
|
||||
| P2-3 | CORS 反射任意 Origin | ❌ 仍存在：`Origin: https://evil.example.com` 被原样反射进 ACAO |
|
||||
| — | 路径遍历防护 | ✅ `..`、`%2e`、`%2f`、`%5c` 四种变体全部 400 |
|
||||
| — | `/whoami` 无/伪造 Token | ✅ 恒 `{login:false}`，不泄露验签细节 |
|
||||
| — | `/admin/verify` fail-closed | ✅ 无/伪造 Token 均 401 |
|
||||
| — | `/captcha/image` 代理 | ✅ 200 + image/png + 64 位 hex token + `no-store` + 限流 10/min/IP |
|
||||
| — | 默认代理下游宕机语义 | ⚠️ static 宕机时默认路由 500（环境语义，非缺陷） |
|
||||
|
||||
---
|
||||
|
||||
## 六、黑盒测试补充（已落地）
|
||||
|
||||
### 6.1 测试套件脱节结论
|
||||
|
||||
- **test_gateway.py 旧版 10 场景已失效**：v0.8.0 后 /login 强制远端 CAPTCHA、/register 强制 email_code，无 OCR/收信能力的黑盒 happy path 全断；且无 db 清理，反复运行污染 Users 表
|
||||
- **test_captcha.py / test_smtp.py 形同虚设**：用 HTTP 测 pymsg/TCP 服务（captcha2:8009、smtp:8008），captcha 用例期望 32 位 token（captcha2 实为 64 位）
|
||||
- **可测试性根因**：认证 happy path 需要测试钩子——方案 a：captcha2/smtp 提供测试模式（固定验证码答案）；方案 b：`gateway.ini` 增加 `[Security] captcha_required/email_code_required` 开关
|
||||
|
||||
### 6.2 本轮交付（P0 部分，无需钩子）
|
||||
|
||||
**`tests/blackbox/helpers.py` 增强（+48 行）**:
|
||||
|
||||
| 工具 | 用途 |
|
||||
|------|------|
|
||||
| `random_xff()` | 随机 XFF 隔离限流桶（利用 A4 行为，避免限流用例互斥） |
|
||||
| `assert_no_internal_leak()` | 错误响应脱敏回归（P0-2/P0-3 基线：无源码路径/C++ 类型名） |
|
||||
| `db_execute()` | pymsg 调 db 做测试数据准备/清理 |
|
||||
|
||||
**`tests/blackbox/test_gateway.py` 重写（34 断言 6 段）**:
|
||||
|
||||
| 段 | 内容 | 断言数 |
|
||||
|----|------|--------|
|
||||
| A | 输入校验新契约（强制 captcha/email_code、fail-closed 语义） | 8 |
|
||||
| B | `/whoami`、`/admin/verify`（含伪造 Token） | 4 |
|
||||
| C | `/captcha/image` 代理（200/PNG/64 位 token/no-store） | 4 |
|
||||
| D | 无 Token 401 + 路径遍历矩阵（原始请求行，`%2e/%2f/%5c` 变体） | 5 |
|
||||
| E | 限流全谱：登录 6th→429、注册 4th→429、发码 6th→429、验证码 11th→429、换 XFF 隔离 | 9 |
|
||||
| F | CORS 反射现状固化（P2-3 修复后翻转断言）+ 16 条错误样本脱敏回归 | 2 |
|
||||
| 尾 | 测试用户清理（db `like` 删除，旧版 `test_%` 污染仅报告） | 2 |
|
||||
|
||||
**实测结果**（gateway 实跑）: `34 tests: 30 passed, 2 failed, 2 skipped`
|
||||
|
||||
- 2 个 FAIL 为刻意锁定 A3 的红测试（缺字段断言 400，当前实现 500），修复后自然转绿
|
||||
- 2 个 SKIP 为环境性（static 未运行；本地 db 无 Users 表——**本环境下注册写库必 500**，跑 P1 认证链路测试前需先执行 `db/create_sqlite3.sql` 建表）
|
||||
|
||||
### 6.3 后续清单（需钩子，P1/P2）
|
||||
|
||||
- 完整旅程（captcha → send_code → register → login → whoami → logout）、Cookie 链路（Set-Cookie 属性、代理注入 Authorization）、jti/版本号吊销、refresh_token、白名单 403（A2 转绿）、防枚举时序
|
||||
- test_captcha.py / test_smtp.py 重写为 pymsg 直连
|
||||
|
||||
---
|
||||
|
||||
## 七、修复建议优先级
|
||||
|
||||
| 优先级 | 项 | 说明 |
|
||||
|--------|----|------|
|
||||
| P1 | A1、A2 | double-join 删 3 行；A2 改抛 HttpException，均为小改动 |
|
||||
| P2 | A3、A5、A6、A4 | A3 修复后两个红测试转绿；A5 头名归一化；A6 统一走 captcha2；A4 配置或文档化 |
|
||||
| P3 | A7、A8 | 废弃内置验证码接口；错误消息剥离内部前缀 |
|
||||
| 配套 | 测试钩子 | captcha2/smtp 测试模式或 gateway.ini 开关，解锁 P1 测试清单 |
|
||||
@@ -17,7 +17,7 @@ tests/blackbox/
|
||||
├── config.py # 服务地址与端口映射
|
||||
├── helpers.py # HTTP/TCP 请求封装 + 断言工具 + 计数器
|
||||
├── test_runner.py # 统一入口，--url 自动识别目标服务
|
||||
├── test_gateway.py # 用户注册 → 登录 → Token → 代理转发
|
||||
├── test_gateway.py # 输入校验/Token契约/代理路径安全/限流/CORS（v0.8.0 契约，认证链路待测试钩子）
|
||||
├── test_captcha.py # 获取验证码 → 校验 → 一次性消费
|
||||
├── test_smtp.py # 发送邮箱验证码 → 校验
|
||||
├── test_dnfs.py # 创建笔记 → 查询 → 更新 → 删除（含内容审核）
|
||||
|
||||
@@ -7,6 +7,7 @@ micro_servers 黑盒测试 — 共享工具模块。
|
||||
|
||||
import http.client
|
||||
import json
|
||||
import random
|
||||
import socket
|
||||
import struct
|
||||
import time
|
||||
@@ -326,3 +327,50 @@ def check_service(url: str, timeout: float = 8.0) -> tuple:
|
||||
return False, f"网络错误: {e.strerror if hasattr(e, 'strerror') else str(e)}"
|
||||
except Exception as e:
|
||||
return False, str(e)
|
||||
|
||||
|
||||
# ---------------------------------------------------------------------------
|
||||
# gateway 测试专用工具
|
||||
# ---------------------------------------------------------------------------
|
||||
|
||||
def random_xff() -> str:
|
||||
"""生成随机 X-Forwarded-For 值，用于隔离 gateway 的 IP 级限流桶。
|
||||
|
||||
背景：gateway 直连模式下信任客户端 XFF 头（审计发现 A4），每个测试场景
|
||||
使用独立随机 XFF，可避免限流用例之间互相消耗配额（如登录 5 次/5 分钟）。
|
||||
"""
|
||||
return f"10.{random.randint(1, 254)}.{random.randint(1, 254)}.{random.randint(1, 254)}"
|
||||
|
||||
|
||||
# 响应体泄露特征：源码文件名/路径/C++ 类型签名（P0-2/P0-3 脱敏回归基线）
|
||||
_LEAK_PATTERNS = ("main.cpp", ".hpp", ".cpp:", "/opt/", "boost::", "std::",
|
||||
"source_location", "typeid", "__cxa")
|
||||
|
||||
|
||||
def assert_no_internal_leak(body: str, name: str, counter: Counter):
|
||||
"""断言响应体不含内部实现信息（源码路径/C++ 类型名等，P0-2/P0-3 回归）。"""
|
||||
hits = [p for p in _LEAK_PATTERNS if p in body]
|
||||
if not hits:
|
||||
print(f" [PASS] {name}")
|
||||
counter.add_pass()
|
||||
return True
|
||||
else:
|
||||
print(f" [FAIL] {name}: 响应泄露内部信息 {hits}")
|
||||
counter.add_fail(name, f"leak patterns {hits}")
|
||||
return False
|
||||
|
||||
|
||||
def db_execute(action: str, table: str, *, where: dict = None,
|
||||
values: dict = None, host: str = "127.0.0.1",
|
||||
port: int = 8005, timeout: float = 10.0) -> dict:
|
||||
"""通过 pymsg 调 db execute 路由（测试数据准备/清理用）。
|
||||
|
||||
返回 db 完整响应 {"success": ..., "data": ...}；db 不可达时
|
||||
返回 {"success": False, "error": ...}（PymsgClient 内部兜底）。
|
||||
"""
|
||||
payload = {"_route": "execute", "action": action, "table": table}
|
||||
if where is not None:
|
||||
payload["where"] = where
|
||||
if values is not None:
|
||||
payload["values"] = values
|
||||
return PymsgClient(host, port, "test_blackbox").call(payload, timeout)
|
||||
+323
-153
@@ -1,211 +1,381 @@
|
||||
"""
|
||||
gateway 黑盒用户模拟测试 — 注册 → 登录 → Token → 代理转发。
|
||||
gateway 黑盒用户模拟测试（v2 — 对齐 gateway v0.8.0 契约）
|
||||
|
||||
用户旅程:
|
||||
1. 注册新账号（含密码强度校验、邮箱格式校验）
|
||||
2. 登录获取 Token
|
||||
3. Token 用于代理访问后端服务
|
||||
4. 重复注册（应失败）
|
||||
5. 错误密码登录（应失败）
|
||||
6. 无效 Token 代理（应拒绝）
|
||||
7. 密码强度不足（应拒绝）
|
||||
8. 邮箱格式错误（应拒绝）
|
||||
覆盖范围（P0，无需测试钩子）:
|
||||
A. 输入校验与错误语义（v0.8.0 新契约：/login 强制 CAPTCHA、/register 强制 email_code）
|
||||
B. /whoami 与 /admin/verify（fail-closed 契约）
|
||||
C. /captcha/image 代理路由（captcha2 在线时）
|
||||
D. 反向代理与路径安全（路径遍历矩阵，含 URL 编码变体）
|
||||
E. 速率限制（随机 XFF 隔离限流桶，避免用例互斥）
|
||||
F. CORS 预检现状固化 + 错误响应脱敏回归（P0-2/P0-3）
|
||||
|
||||
已知待修复缺陷（断言目标行为，gateway 修复前会 FAIL）:
|
||||
- A3: 缺失 JSON 字段 → 当前 500，应为 400（场景 A5/A8）
|
||||
- A2: 白名单外 Target-Url → 当前 500，应为 403（需有效 Token 才能触达，待测试钩子）
|
||||
|
||||
认证 happy path（注册/登录/Token 生命周期/Cookie/jti 吊销/refresh）依赖
|
||||
captcha2/smtp 测试模式（固定验证码答案钩子），落地前黑盒无法覆盖（P1 清单）。
|
||||
|
||||
依赖说明:
|
||||
- gateway 必须运行，否则全部 SKIP
|
||||
- captcha2 (pymsg:8009) 不在线时 C/E5 段 SKIP（其余用例不受影响）
|
||||
- static (:9200) 不在线时 D3 段 SKIP
|
||||
- smtp 不在线不影响本文件（相关用例均为 fail-closed 400 路径）
|
||||
"""
|
||||
|
||||
import json
|
||||
import http.client
|
||||
import random
|
||||
import re
|
||||
import string
|
||||
import time
|
||||
import urllib.parse
|
||||
|
||||
from helpers import (
|
||||
http_get, http_post, try_parse_json,
|
||||
assert_eq, assert_status, assert_true, assert_json_key,
|
||||
Counter, check_service,
|
||||
http_get, http_post, http_request, try_parse_json,
|
||||
assert_eq, assert_true, assert_no_internal_leak,
|
||||
skip, Counter, check_service, check_tcp_service,
|
||||
random_xff, db_execute,
|
||||
)
|
||||
from config import get_url
|
||||
from config import SERVICES, get_url
|
||||
|
||||
GATEWAY_URL = get_url("gateway")
|
||||
STATIC_URL = get_url("static")
|
||||
|
||||
# 本测试文件使用的账号前缀（P0 用例不会真正创建用户，清理为防御性执行）
|
||||
TEST_USER_PREFIX = "testgw_"
|
||||
|
||||
|
||||
def _random_email():
|
||||
"""生成随机测试邮箱。"""
|
||||
"""生成随机测试邮箱（带本文件专属前缀，便于清理）。"""
|
||||
suffix = ''.join(random.choices(string.ascii_lowercase, k=8))
|
||||
return f"test_{suffix}@example.com"
|
||||
return f"{TEST_USER_PREFIX}{suffix}@example.com"
|
||||
|
||||
|
||||
def _random_password():
|
||||
"""生成符合强度要求的随机密码。"""
|
||||
chars = string.ascii_letters + string.digits + "!@#$%"
|
||||
return ''.join(random.choices(chars, k=12))
|
||||
def _strong_password():
|
||||
"""生成必过强度校验的密码（含大写/小写/数字/特殊四类）。"""
|
||||
body = ''.join(random.choices(string.ascii_letters + string.digits, k=8))
|
||||
return f"Gw{body}!1"
|
||||
|
||||
|
||||
def _raw_get_status(host: str, port: int, raw_path: str, headers: dict = None):
|
||||
"""发送原始 GET（不做任何路径规范化），返回 (status, body)。
|
||||
|
||||
urllib/curl 默认会折叠 ".." 路径段，路径遍历测试必须用原始请求行。
|
||||
"""
|
||||
conn = http.client.HTTPConnection(host, port, timeout=10)
|
||||
try:
|
||||
conn.putrequest("GET", raw_path, skip_accept_encoding=True)
|
||||
for k, v in (headers or {}).items():
|
||||
conn.putheader(k, v)
|
||||
conn.endheaders()
|
||||
resp = conn.getresponse()
|
||||
body = resp.read().decode("utf-8", errors="replace")
|
||||
return resp.status, body
|
||||
finally:
|
||||
conn.close()
|
||||
|
||||
|
||||
def run(url: str = None):
|
||||
"""gateway 用户模拟测试入口。返回 (passed, failed, skipped)。"""
|
||||
gw = url or GATEWAY_URL
|
||||
c = Counter()
|
||||
err_bodies = [] # 收集错误响应体，末尾统一做脱敏回归（F2）
|
||||
|
||||
print(f"\n--- gateway 用户注册与登录流程 ---\n")
|
||||
print(f"\n--- gateway 输入校验/Token契约/代理/限流 测试 ---\n")
|
||||
|
||||
parsed = urllib.parse.urlparse(gw)
|
||||
gw_host, gw_port = parsed.hostname, parsed.port or 80
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 0. 检查服务可用性
|
||||
# 0. 依赖可用性探测
|
||||
# ------------------------------------------------------------------
|
||||
if not check_service(gw)[0]:
|
||||
print(" gateway 服务不可达，跳过所有测试")
|
||||
c.add_skip()
|
||||
return c.passed, c.failed, c.skipped
|
||||
|
||||
email = _random_email()
|
||||
password = _random_password()
|
||||
token = None
|
||||
cap_svc = SERVICES["captcha"]
|
||||
captcha_up = check_tcp_service(cap_svc["host"], cap_svc["port"])[0]
|
||||
if not captcha_up:
|
||||
print(" [WARN] captcha 服务不可达，/captcha/image 相关用例将 SKIP")
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 1: 注册 — 密码强度不足
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_post(f"{gw}/register", {
|
||||
"username": email,
|
||||
"password": "123",
|
||||
})
|
||||
static_up = check_service(STATIC_URL)[0]
|
||||
if not static_up:
|
||||
print(" [WARN] static 服务不可达，默认代理转发用例将 SKIP")
|
||||
|
||||
# ==================================================================
|
||||
# A. 输入校验与错误语义（v0.8.0 新契约）
|
||||
# ==================================================================
|
||||
print(" [A] 输入校验与错误语义")
|
||||
|
||||
# A1: 注册-密码太短 → 401（密码强度校验先于邮箱验证码校验）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register",
|
||||
{"username": _random_email(), "password": "123"},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 401, "注册-密码太短 (401)", c)
|
||||
data = try_parse_json(body)
|
||||
assert_true(
|
||||
data is not None and not data.get("success"),
|
||||
"注册-密码太短-拒绝", c,
|
||||
)
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 2: 注册 — 邮箱格式错误
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_post(f"{gw}/register", {
|
||||
"username": "not-an-email",
|
||||
"password": _random_password(),
|
||||
})
|
||||
# A2: 注册-邮箱格式错误 → 400（须先过密码强度校验）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register",
|
||||
{"username": "not-an-email", "password": _strong_password()},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "注册-邮箱格式错误 (400)", c)
|
||||
|
||||
# A3: 注册-缺 email_code → 400（v0.8.0 强制邮箱验证码）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register",
|
||||
{"username": _random_email(), "password": _strong_password()},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "注册-缺email_code (400)", c)
|
||||
|
||||
# A4: 注册-错误 email_code → 400（smtp 不在线时 fail-closed 同为 400）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register",
|
||||
{"username": _random_email(), "password": _strong_password(),
|
||||
"email_code": "000000"},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "注册-错误email_code (400)", c)
|
||||
|
||||
# A5: 登录-空 JSON → 400（审计 A3：当前实现返回 500，修复前 FAIL）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/login", {},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "登录-缺字段 (400) [A3: 当前500,待修复]", c)
|
||||
|
||||
# A6: 登录-缺 captcha 字段 → 400（v0.8.0 强制 CAPTCHA）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/login",
|
||||
{"username": _random_email(), "password": _strong_password()},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "登录-缺captcha (400)", c)
|
||||
|
||||
# A7: 登录-错误 captcha → 400（captcha 不可用 fail-closed 同为 400）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/login",
|
||||
{"username": _random_email(), "password": _strong_password(),
|
||||
"captcha_token": "0" * 64, "captcha_answer": "AAAAA"},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "登录-错误captcha (400)", c)
|
||||
|
||||
# A8: 注册-空 JSON → 400（审计 A3：当前实现返回 500，修复前 FAIL）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register", {},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, "注册-缺字段 (400) [A3: 当前500,待修复]", c)
|
||||
|
||||
# ==================================================================
|
||||
# B. /whoami 与 /admin/verify（fail-closed 契约）
|
||||
# ==================================================================
|
||||
print(" [B] whoami / admin.verify")
|
||||
|
||||
# B1: whoami 无 Token → 200 + {"login": false}
|
||||
status, body, _ = http_post(f"{gw}/whoami")
|
||||
data = try_parse_json(body)
|
||||
assert_true(
|
||||
data is not None and not data.get("success"),
|
||||
"注册-邮箱格式错误-拒绝", c,
|
||||
)
|
||||
status == 200 and data is not None and data.get("login") is False,
|
||||
"whoami-无Token (200, login:false)", c, f"status={status} body={body[:80]}")
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 3: 注册 — 成功
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_post(f"{gw}/register", {
|
||||
"username": email,
|
||||
"password": password,
|
||||
})
|
||||
assert_eq(status, 200, "注册-成功 (200)", c)
|
||||
# B2: whoami 伪造 Token → 200 + {"login": false}（不泄露验签细节）
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/whoami", headers={"Authorization": f"Bearer {'A'*40}_{'B'*40}"})
|
||||
data = try_parse_json(body)
|
||||
assert_true(
|
||||
data is not None and data.get("success") is True,
|
||||
"注册-返回 success=true", c,
|
||||
)
|
||||
status == 200 and data is not None and data.get("login") is False,
|
||||
"whoami-伪造Token (login:false)", c, f"status={status} body={body[:80]}")
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 4: 注册 — 重复用户名
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_post(f"{gw}/register", {
|
||||
"username": email,
|
||||
"password": password,
|
||||
})
|
||||
# 期望注册失败（用户名已存在）
|
||||
assert_true(
|
||||
status != 200 or (try_parse_json(body) or {}).get("success") is not True,
|
||||
"注册-重复用户名-拒绝", c,
|
||||
f"status={status}, body={body[:100]}",
|
||||
)
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 5: 登录 — 错误密码
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_post(f"{gw}/login", {
|
||||
"username": email,
|
||||
"password": "WrongPassword1",
|
||||
})
|
||||
assert_eq(status, 401, "登录-错误密码 (401)", c)
|
||||
# B3: admin/verify 无 Token → 401 fail-closed
|
||||
status, body, _ = http_post(f"{gw}/admin/verify")
|
||||
data = try_parse_json(body)
|
||||
assert_true(
|
||||
data is not None and not data.get("success"),
|
||||
"登录-错误密码-拒绝", c,
|
||||
)
|
||||
status == 401 and data is not None and data.get("success") is False,
|
||||
"admin/verify-无Token (401)", c, f"status={status}")
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 6: 登录 — 成功获取 Token
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_post(f"{gw}/login", {
|
||||
"username": email,
|
||||
"password": password,
|
||||
})
|
||||
assert_eq(status, 200, "登录-成功 (200)", c)
|
||||
# B4: admin/verify 伪造 Token → 401
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/admin/verify",
|
||||
headers={"Authorization": f"Bearer {'A'*40}_{'B'*40}"})
|
||||
data = try_parse_json(body)
|
||||
assert_true(
|
||||
data is not None and data.get("success") is True,
|
||||
"登录-返回 success=true", c,
|
||||
)
|
||||
token_data = (data or {}).get("data", {})
|
||||
token = token_data.get("token", "")
|
||||
assert_true(
|
||||
len(token) > 20 if token else False,
|
||||
"登录-Token 不为空", c,
|
||||
)
|
||||
status == 401 and data is not None and data.get("success") is False,
|
||||
"admin/verify-伪造Token (401)", c, f"status={status}")
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 7: 代理 — 使用 Token 访问静态服务
|
||||
# ------------------------------------------------------------------
|
||||
if token:
|
||||
# ==================================================================
|
||||
# C. /captcha/image 代理路由（captcha2 在线时）
|
||||
# ==================================================================
|
||||
print(" [C] /captcha/image 代理")
|
||||
if captcha_up:
|
||||
status, body, headers = http_get(
|
||||
f"{gw}/",
|
||||
headers={
|
||||
"Authorization": f"Bearer {token}",
|
||||
"Target-Url": STATIC_URL,
|
||||
},
|
||||
)
|
||||
f"{gw}/captcha/image",
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
assert_eq(status, 200, "captcha/image-代理 (200)", c)
|
||||
content_type = headers.get("Content-Type", headers.get("content-type", ""))
|
||||
assert_true("image/png" in content_type,
|
||||
"captcha/image-Content-Type(png)", c, f"ct={content_type}")
|
||||
cap_token = headers.get("X-Captcha-Token", headers.get("x-captcha-token", ""))
|
||||
assert_true(
|
||||
status in (200, 302, 301),
|
||||
"代理-GET静态首页", c,
|
||||
f"status={status}",
|
||||
)
|
||||
bool(re.fullmatch(r"[0-9a-f]{64}", cap_token)),
|
||||
"captcha/image-Token(64位hex)", c, f"token={cap_token[:16]}...")
|
||||
cache_ctl = headers.get("Cache-Control", headers.get("cache-control", ""))
|
||||
assert_true("no-store" in cache_ctl,
|
||||
"captcha/image-禁缓存(no-store)", c, f"cc={cache_ctl}")
|
||||
else:
|
||||
skip("captcha/image 代理", "captcha 服务不可达", c)
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 8: 代理 — 无 Token 应拒绝
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_get(
|
||||
f"{gw}/some-path",
|
||||
headers={"Target-Url": STATIC_URL},
|
||||
)
|
||||
# 缺少 Token 应返回 400/401
|
||||
# ==================================================================
|
||||
# D. 反向代理与路径安全
|
||||
# ==================================================================
|
||||
print(" [D] 反向代理与路径安全")
|
||||
|
||||
# D1: 显式 Target-Url + 无 Token → 401（Token 校验先于转发，不依赖 static）
|
||||
status, body, _ = http_get(f"{gw}/some-path",
|
||||
headers={"Target-Url": STATIC_URL})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 401, "代理-无Token拒绝 (401)", c)
|
||||
|
||||
# D2: 路径遍历矩阵 → 400（路径校验先于 Token 校验；原始请求行防客户端折叠）
|
||||
traversal_paths = [
|
||||
"/../../../etc/passwd", # 明文 ..
|
||||
"/%2e%2e/%2e%2e/etc/passwd", # URL 编码 .
|
||||
"/%2f..%2f..%2fetc", # 编码 /
|
||||
"/%5c..%5cwindows", # 编码反斜杠
|
||||
]
|
||||
for p in traversal_paths:
|
||||
status, body = _raw_get_status(gw_host, gw_port, p,
|
||||
headers={"Target-Url": STATIC_URL})
|
||||
err_bodies.append(body)
|
||||
assert_eq(status, 400, f"代理-路径遍历拒绝 {p[:24]} (400)", c)
|
||||
|
||||
# D3: 默认代理（无 Target-Url，公开目标不需 Token）
|
||||
if static_up:
|
||||
status, body, _ = http_get(f"{gw}/")
|
||||
assert_true(status in (200, 301, 302),
|
||||
"代理-默认路由(static)", c, f"status={status}")
|
||||
else:
|
||||
skip("代理-默认路由", "static 服务不可达", c)
|
||||
|
||||
# ==================================================================
|
||||
# E. 速率限制（随机 XFF 隔离限流桶）
|
||||
# ==================================================================
|
||||
print(" [E] 速率限制")
|
||||
|
||||
# E1: 登录限流 5 次/5 分钟/IP —— 同 XFF 前 5 次 400，第 6 次 429
|
||||
xff = random_xff()
|
||||
results = []
|
||||
for _ in range(6):
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/login",
|
||||
{"username": _random_email(), "password": _strong_password()},
|
||||
headers={"X-Forwarded-For": xff})
|
||||
results.append(status)
|
||||
err_bodies.append(body)
|
||||
assert_true(all(s == 400 for s in results[:5]),
|
||||
"限流-登录前5次放行(400)", c, f"results={results}")
|
||||
assert_eq(results[5], 429, "限流-登录第6次 (429)", c)
|
||||
|
||||
# E2: 限流桶隔离 —— 换 XFF 后不再 429（固化审计 A4：直连模式 XFF 客户端可控）
|
||||
status, _, _ = http_post(
|
||||
f"{gw}/login",
|
||||
{"username": _random_email(), "password": _strong_password()},
|
||||
headers={"X-Forwarded-For": random_xff()})
|
||||
assert_eq(status, 400, "限流-换XFF重置桶 (400≠429)", c)
|
||||
|
||||
# E3: 注册限流 3 次/10 分钟/IP —— 前 3 次 400，第 4 次 429
|
||||
xff = random_xff()
|
||||
results = []
|
||||
for _ in range(4):
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register",
|
||||
{"username": _random_email(), "password": _strong_password()},
|
||||
headers={"X-Forwarded-For": xff})
|
||||
results.append(status)
|
||||
err_bodies.append(body)
|
||||
assert_true(all(s == 400 for s in results[:3]),
|
||||
"限流-注册前3次放行(400)", c, f"results={results}")
|
||||
assert_eq(results[3], 429, "限流-注册第4次 (429)", c)
|
||||
|
||||
# E4: 发码限流 5 次/10 分钟/IP —— 缺 captcha 每次 400，第 6 次 429
|
||||
xff = random_xff()
|
||||
results = []
|
||||
for _ in range(6):
|
||||
status, body, _ = http_post(
|
||||
f"{gw}/register/send_code",
|
||||
{"email": _random_email()},
|
||||
headers={"X-Forwarded-For": xff})
|
||||
results.append(status)
|
||||
err_bodies.append(body)
|
||||
assert_true(all(s == 400 for s in results[:5]),
|
||||
"限流-发码前5次放行(400)", c, f"results={results}")
|
||||
assert_eq(results[5], 429, "限流-发码第6次 (429)", c)
|
||||
|
||||
# E5: /captcha/image 限流 10 次/分钟/IP —— 前 10 次 200，第 11 次 429
|
||||
# （captcha2 全局限流 600/分钟，不干扰本用例）
|
||||
if captcha_up:
|
||||
xff = random_xff()
|
||||
results = []
|
||||
for _ in range(11):
|
||||
status, _, _ = http_get(f"{gw}/captcha/image",
|
||||
headers={"X-Forwarded-For": xff})
|
||||
results.append(status)
|
||||
assert_true(all(s == 200 for s in results[:10]),
|
||||
"限流-验证码前10次放行(200)", c, f"results={results}")
|
||||
assert_eq(results[10], 429, "限流-验证码第11次 (429)", c)
|
||||
else:
|
||||
skip("限流-验证码", "captcha 服务不可达", c)
|
||||
|
||||
# ==================================================================
|
||||
# F. CORS 预检现状 + 错误响应脱敏回归
|
||||
# ==================================================================
|
||||
print(" [F] CORS 与错误脱敏")
|
||||
|
||||
# F1: OPTIONS 预检 —— 固化当前行为：反射任意 Origin（P2-3 未修复）。
|
||||
# TODO(P2-3): 白名单生效后应翻转断言为「白名单外 Origin 无 ACAO 头」。
|
||||
status, _, headers = http_request(
|
||||
"OPTIONS", f"{gw}/login",
|
||||
headers={"Origin": "https://test-orig.example",
|
||||
"Access-Control-Request-Method": "POST"})
|
||||
acao = headers.get("Access-Control-Allow-Origin",
|
||||
headers.get("access-control-allow-origin", ""))
|
||||
assert_true(
|
||||
status in (400, 401, 403),
|
||||
"代理-无Token拒绝", c,
|
||||
f"status={status}",
|
||||
)
|
||||
acao == "https://test-orig.example",
|
||||
"CORS-预检反射Origin(现状,P2-3待修)", c, f"ACAO={acao!r} status={status}")
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 9: 代理 — 无效路径（路径遍历）
|
||||
# ------------------------------------------------------------------
|
||||
if token:
|
||||
status, body, _ = http_get(
|
||||
f"{gw}/../../../etc/passwd",
|
||||
headers={
|
||||
"Authorization": f"Bearer {token}",
|
||||
"Target-Url": STATIC_URL,
|
||||
},
|
||||
)
|
||||
assert_true(
|
||||
status in (400, 403),
|
||||
"代理-路径遍历拒绝", c,
|
||||
f"status={status}",
|
||||
)
|
||||
# F2: 错误响应脱敏 —— 所有收集到的 4xx/5xx 响应体不得含源码路径/类型名
|
||||
assert_no_internal_leak("\n".join(err_bodies),
|
||||
f"错误响应脱敏(共{len(err_bodies)}条样本)", c)
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 场景 10: 默认代理 (无 Target-Url，无需 Token)
|
||||
# ------------------------------------------------------------------
|
||||
status, body, _ = http_get(f"{gw}/")
|
||||
assert_true(
|
||||
status in (200, 302, 301),
|
||||
"代理-默认路由", c,
|
||||
f"status={status}",
|
||||
)
|
||||
# ==================================================================
|
||||
# 测试后清理（P0 用例不创建用户，防御性执行；db 不可达则跳过）
|
||||
# ==================================================================
|
||||
db_svc = SERVICES["db"]
|
||||
if check_tcp_service(db_svc["host"], db_svc["port"])[0]:
|
||||
resp = db_execute(
|
||||
"delete", "Users",
|
||||
where={"username": {"like": f"{TEST_USER_PREFIX}%"}},
|
||||
host=db_svc["host"], port=db_svc["port"])
|
||||
if not resp.get("success") and "table not found" in str(resp.get("error", "")):
|
||||
# 当前环境 db 无 Users 表（如本地开发库），清理无意义
|
||||
skip("清理-删除本测试用户记录", "当前环境无 Users 表", c)
|
||||
else:
|
||||
assert_true(resp.get("success") is True,
|
||||
"清理-删除本测试用户记录", c, f"resp={str(resp)[:100]}")
|
||||
# 旧版测试遗留污染（test_%@example.com）仅报告数量，不自动删除
|
||||
legacy = db_execute(
|
||||
"select", "Users",
|
||||
where={"username": {"like": "test_%@example.com"}},
|
||||
host=db_svc["host"], port=db_svc["port"])
|
||||
if legacy.get("success") and legacy.get("data"):
|
||||
print(f" [WARN] 发现 {len(legacy['data'])} 条旧版测试遗留用户 "
|
||||
f"(test_*@example.com)，建议人工清理")
|
||||
else:
|
||||
skip("清理-测试用户", "db 服务不可达", c)
|
||||
|
||||
# ------------------------------------------------------------------
|
||||
# 汇总
|
||||
|
||||
Reference in new issue
Block a user