Merge branch 'main' of https://git.cancerai.top/qing/blackbird
This commit is contained in:
qing committed
commit
79b2e5b4be
10 files changed
+643
-243
No files matched your search
@@ -1,155 +1,339 @@
|
||||
# static 模块安全审计报告
|
||||
|
||||
**审计日期**: 2026-08-01
|
||||
**审计范围**: `fsys.py`、`security_middleware.py`、`log_client.py`
|
||||
**代码版本**: dev_qing 分支
|
||||
**审计范围**: `fsys.py`、`security_middleware.py`、`log_client.py`
|
||||
|
||||
---
|
||||
|
||||
## 代码验证记录
|
||||
## 审计轮次
|
||||
|
||||
**验证日期**: 2026-08-03（更新）
|
||||
**验证方式**: 逐条对照审计报告与当前代码（`fsys.py`、`security_middleware.py`、`log_client.py`）
|
||||
| 轮次 | 日期 | 范围 | 说明 |
|
||||
|------|------|------|------|
|
||||
| 第 1 轮 | 2026-08-01 | `fsys.py`、`security_middleware.py`、`log_client.py` | 初始审计，发现 10 项问题 |
|
||||
| 第 1 轮验证 | 2026-08-03 | 逐条对照代码 | 修复率 65% |
|
||||
| 第 2 轮 | 2026-08-08 | 同上 + 配置/代理/错误处理深度复查 | 新增 10 项问题（NEW-5 ~ NEW-14） |
|
||||
| 第 2 轮修复 | 2026-08-08 | fsys.py / security_middleware.py / log_client.py | 修复 12 项，2 项已知限制 |
|
||||
|
||||
### 验证结果汇总
|
||||
---
|
||||
|
||||
| 等级 | 总数 | 已修复 | 部分修复 | 未修复 | 修复率 |
|
||||
|------|------|--------|----------|--------|--------|
|
||||
| P0 | 5 | 5 | 0 | 0 | 100% |
|
||||
| P1 | 3 | 1 | 0 | 2 | 33% |
|
||||
| P2 | 2 | 0 | 1 | 1 | 25% (部分) |
|
||||
| **合计** | **10** | **6** | **1** | **3** | **65%** |
|
||||
## 验证结果汇总（截至 2026-08-08 第 2 轮修复后）
|
||||
|
||||
| 等级 | 总数 | 已修复 | 已知限制 | 风险消除 | 修复率 |
|
||||
|------|------|--------|----------|----------|--------|
|
||||
| P0 | 7 | 7 | 0 | 0 | 100% |
|
||||
| P1 | 7 | 7 | 0 | 0 | 100% |
|
||||
| P2 | 10 | 7 | 2 | 1 | 70% |
|
||||
| **合计** | **24** | **21** | **2** | **1** | **88%** |
|
||||
|
||||
> P1-2（路径遍历防护）已由 NEW-5 修复覆盖，合并记为已修复。
|
||||
> P2 已知限制 2 项（NEW-11 CSP unsafe-inline、NEW-12 SSL 回退）需架构层面改造，已添加注释标注。
|
||||
> P2-2 风险消除（yhdet 路径已不可达，日志脱敏路径不再触发）。
|
||||
> 所有可修复项均已处理，剩余 2 项为架构层面已知限制。
|
||||
|
||||
|
||||
---
|
||||
|
||||
## 第 2 轮审计新发现（2026-08-08）
|
||||
|
||||
### NEW-5: `safe_path_join` 前缀校验存在经典 prefix bypass（路径遍历绕过） ✅ 已修复
|
||||
|
||||
- **等级**: P1
|
||||
- **位置**: `fsys.py:182-194`
|
||||
- **问题**: 使用 `full_path_real.startswith(base_dir_real)` 做边界校验。当 `base_dir = /app/public` 时，路径 `/app/public_secret/file` 也能通过校验（`'/app/public_secret'.startswith('/app/public')` 为 `True`）。
|
||||
|
||||
攻击者构造 `../public_secret/敏感文件` 即可访问与根目录**同名前缀**的同级目录内容。利用前提是存在以 `public` 开头的同级目录（如 `public_backup`、`public_old`、`public2`），在实际部署中这一条件不难满足。
|
||||
|
||||
- **修复**: 使用路径分隔符边界，并处理 `full_path_real == base_dir_real` 的情况：
|
||||
```python
|
||||
if full_path_real != base_dir_real and not full_path_real.startswith(base_dir_real + os.sep):
|
||||
return None
|
||||
```
|
||||
|
||||
### NEW-6: dnfs 代理路由错误响应泄露内部异常信息 ✅ 已修复
|
||||
|
||||
- **等级**: P1
|
||||
- **位置**: `fsys.py:501, 516, 531, 547`（4 个代理路由的 except 分支）
|
||||
- **问题**: `{"error": str(e)}` 直接回传内部异常文本。当 dnfs 服务不可用时，异常消息可能包含 `DNFS_URL`（`http://127.0.0.1:8006`）、连接拒绝细节、超时信息等内部架构信息，帮助攻击者测绘内网。
|
||||
|
||||
```python
|
||||
except Exception as e:
|
||||
return _cors(make_response(_json.dumps({"error": str(e)}), 502, ...))
|
||||
```
|
||||
|
||||
- **修复**: 返回通用错误消息，详细信息仅写入日志：
|
||||
```python
|
||||
except Exception as e:
|
||||
logs.warning("static", "dnfs proxy failed", extra={"route": "get_notes", "error": str(e)})
|
||||
return _cors(make_response(_json.dumps({"error": "upstream unavailable"}), 502, ...))
|
||||
```
|
||||
|
||||
### NEW-7: `serve_file` 普通文件分支全量读入内存（DoS） ✅ 已修复
|
||||
|
||||
- **等级**: P1
|
||||
- **位置**: `fsys.py:681-690`
|
||||
- **问题**: 非 media、非 download 的普通文件通过 `f.read()` 全量读入内存再返回。攻击者（或被误导的用户）访问 public 目录下的大文件可导致内存耗尽。Flask `send_file` 本身支持流式传输和 Range，此处手动读取反而丢失了这些能力。
|
||||
|
||||
```python
|
||||
with open(full_path, 'rb') as f:
|
||||
content = f.read() # 大文件 → OOM
|
||||
```
|
||||
|
||||
- **修复**: 统一使用 `send_file`（已对 download 和 media 分支使用），移除手动读取分支：
|
||||
```python
|
||||
return send_file(full_path, mimetype=mime_map.get(ext, 'application/octet-stream'))
|
||||
```
|
||||
|
||||
### NEW-8: `api_hash` 公开哈希预言机 + 参数校验缺失 ✅ 已修复
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `fsys.py:317-323`
|
||||
- **问题**:
|
||||
1. 无鉴权、无限速的 SHA256 端点，可被当作哈希预言机辅助字典攻击（攻击者可批量预计算密码哈希后通过 `/api/check_user` + 后端比对验证）
|
||||
2. `request.get_json(force=True)` 的 `force=True` 忽略 Content-Type，接受任意请求体
|
||||
3. 无类型校验：`data.get('password','').encode()` 当 `password` 为数字/数组时抛 `AttributeError` → 500；当 `data` 非 dict（如 JSON 数组）时 `data.get` 抛 `AttributeError` → 500
|
||||
|
||||
```python
|
||||
data = request.get_json(force=True)
|
||||
h = hashlib.sha256(data.get('password','').encode()).hexdigest()
|
||||
```
|
||||
|
||||
- **修复**: 增加限速 + 类型校验，移除 `force=True`：
|
||||
```python
|
||||
data = request.get_json(silent=True) or {}
|
||||
password = data.get('password', '')
|
||||
if not isinstance(password, str):
|
||||
return jsonify({"error": "invalid input"}), 400
|
||||
```
|
||||
|
||||
### NEW-9: `_db_call` 无连接复用 / 无 retry / 硬编码地址 ✅ 已修复
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `fsys.py:300-314`
|
||||
- **问题**:
|
||||
1. 每次调用新建 `RpcClient`（TCP 连接 + 握手），高频调用下低效
|
||||
2. 无 `retry_on_refused`（与 `_fetch_from_confs` 不一致），db 短暂不可用即失败
|
||||
3. 硬编码 `127.0.0.1:8005`，不像 confs 那样支持 `DB_HOST`/`DB_PORT` 环境变量（`log_client.py` 已支持）
|
||||
|
||||
```python
|
||||
client = RpcClient('127.0.0.1', 8005, 'static', timeout=5)
|
||||
```
|
||||
|
||||
- **修复**: 使用模块级单例 client + 环境变量 + retry：
|
||||
```python
|
||||
_db_host = os.environ.get('DB_HOST', '127.0.0.1')
|
||||
_db_port = int(os.environ.get('DB_PORT', '8005'))
|
||||
_db_client = RpcClient(_db_host, _db_port, 'static', timeout=5, retry_on_refused=True)
|
||||
```
|
||||
|
||||
### NEW-10: `api_favicon` 端口未校验 + DNS rebinding 理论窗口 ✅ 已修复（端口校验）
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `fsys.py:614-642`
|
||||
- **问题**:
|
||||
1. `parsed.netloc` 包含端口，未校验端口范围。攻击者可通过 `http://external-host:22` 探测外部主机的开放端口（通过响应差异/超时差异）
|
||||
2. `_is_private_host` 使用 `socket.getaddrinfo` 解析，urllib 实际请求时再次解析 — 存在 DNS rebinding 理论窗口（检查时解析为公网 IP，请求时解析为内网 IP）。Python 进程内 DNS 缓存可缓解，但非完全消除
|
||||
|
||||
- **修复**: 校验端口 + 请求时绑定已校验的 IP：
|
||||
```python
|
||||
port = parsed.port
|
||||
if port is not None and (port < 1 or port > 65535):
|
||||
return jsonify({'error': 'bad port'}), 400
|
||||
```
|
||||
|
||||
### NEW-11: CSP `unsafe-inline` 削弱 XSS 防护 ⚠️ 已知限制（需架构改造）
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `security_middleware.py:31`
|
||||
- **问题**: `script-src 'self' 'unsafe-inline'` 允许内联脚本，若发生 HTML 注入则 CSP 无法阻止 XSS 执行。dnfs 特殊节点的 "前端代码" 功能（注入完整 HTML/CSS/JS）可能依赖 inline script，需评估是否可改用 nonce/hash。
|
||||
|
||||
```python
|
||||
"script-src 'self' 'unsafe-inline'; "
|
||||
```
|
||||
|
||||
- **修复**: 评估改用 CSP nonce（`script-src 'self' 'nonce-{random}'`），或至少将 `unsafe-inline` 降级为 `unsafe-hashes` + 具体 hash。
|
||||
|
||||
### NEW-12: SSL 模式回退 Flask 开发服务器 ⚠️ 已知限制（需架构改造）
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `fsys.py:725-728`
|
||||
- **问题**: 启用 SSL 时回退到 `app.run()`（Flask 内置开发服务器），不适合生产（单线程、无并发、调试信息泄露风险）。当前 `ssl.enabled = false` 未触发，但若运维启用 SSL 则暴露风险。
|
||||
|
||||
```python
|
||||
app.run(host=host, port=port, ssl_context=(...), debug=False)
|
||||
```
|
||||
|
||||
- **修复**: 使用 `waitress` + 反向代理（waf/gateway）终止 TLS，或改用支持 TLS 的生产服务器（如 `gunicorn` + SSL）。注释中已提到 "Waitress has no TLS support"，应在架构层面解决而非回退开发服务器。
|
||||
|
||||
### NEW-13: `log_client._send_batch` 单条失败放弃整批剩余日志 ✅ 已修复
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `log_client.py:142-148`
|
||||
- **问题**: `Exception`（非 `RpcError`）分支 `break` 跳出循环，剩余日志全部丢弃。设计意图可能是 "网络错误放弃本批"，但 `RpcError`（已处理）和 `Exception` 的区分不合理 — 网络层 `ConnectionRefusedError` 属于 `Exception` 而非 `RpcError`，会导致整批丢弃。
|
||||
|
||||
```python
|
||||
except RpcError as e:
|
||||
print(...) # 继续下一条
|
||||
except Exception as e:
|
||||
print(...)
|
||||
break # 放弃剩余
|
||||
```
|
||||
|
||||
- **修复**: 区分可重试错误与致命错误，或统一 `continue`：
|
||||
```python
|
||||
except Exception as e:
|
||||
print(f"[log_client] 发送失败（跳过本条）: {e}", file=_sys.stderr)
|
||||
continue
|
||||
```
|
||||
|
||||
### NEW-14: `_confs_port` 环境变量未捕获 `ValueError` ✅ 已修复
|
||||
|
||||
- **等级**: P2
|
||||
- **位置**: `fsys.py:52`
|
||||
- **问题**: `int(os.environ.get('CONFS_PORT', '8010'))` 未捕获异常，`CONFS_PORT=abc` 导致启动崩溃且错误信息不友好。同类问题存在于 `LISTEN_PORT` 未做相同处理（但 `LISTEN_PORT` 在 L100 覆盖后，L714 `int()` 转换时才报错）。
|
||||
|
||||
```python
|
||||
_confs_port = int(os.environ.get('CONFS_PORT', '8010'))
|
||||
```
|
||||
|
||||
- **修复**: 捕获异常并给出明确提示：
|
||||
```python
|
||||
try:
|
||||
_confs_port = int(os.environ.get('CONFS_PORT', '8010'))
|
||||
except ValueError:
|
||||
print('[static] 致命错误: CONFS_PORT 不是合法整数', file=sys.stderr)
|
||||
sys.exit(1)
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 第 1 轮验证记录（2026-08-03）
|
||||
|
||||
### 逐条验证
|
||||
|
||||
| 编号 | 状态 | 代码位置 | 验证说明 |
|
||||
|------|------|----------|----------|
|
||||
| P0-1 | ✅ 已修复 | `fsys.py` L326-341 | `/api/reset_password` 整个路由已注释禁用，标注 "DISABLED: P0 security issue" |
|
||||
| P0-2 | ✅ 已修复 | `fsys.py` L360-467 | yhdet 系列功能（`yhdet_callback`、`yhdet_login`、`yhdet_verify`）全部注释禁用，Token 问题随功能一同消除 |
|
||||
| P0-2 | ✅ 已修复 | `fsys.py` L360-467 | yhdet 系列功能全部注释禁用，Token 问题随功能一同消除 |
|
||||
| P0-3 | ✅ 已修复 | `fsys.py` L360-467 | yhdet 系列功能全部注释禁用，`_create_unverified_context()` SSL 跳过问题随功能一同消除 |
|
||||
| P0-4 | ✅ 已修复 | `fsys.py` L362 | `YHDET_SECRET` 已注释并设为空字符串，标注"已失效" |
|
||||
| P0-5 | ✅ 已修复 | `fsys.py` L300-314 | 新增 `_db_call()` 辅助函数，4个接口（`api_check_user`、`yhdet_callback`、`yhdet_login`、`yhdet_verify`）全部改为通过 pymsg RpcClient 调 db:8005 服务，不再直连 SQLite；`GATEWAY_DB`/`GATEWAY_DB_YHDET` 常量已删除 |
|
||||
| P1-1 | ❌ 未修复 | `fsys.py` L344-355 | `/api/check_user` 无速率限制，可枚举有效邮箱 |
|
||||
| P1-2 | ❌ 未修复 | `fsys.py` L182-192 | `safe_path_join` 路径遍历防护经审计确认实现正确（realpath 前缀校验），但审计报告状态应更新为"已验证" |
|
||||
| P1-3 | ✅ 已修复 | `fsys.py` L360-467 | yhdet 系列功能全部注释禁用，默认密码 `oauth_{user_id}` 问题随功能一同消除 |
|
||||
| P2-1 | ❌ 未修复 | `fsys.py` L272-291 | Range 请求未校验 `end >= start`，恶意 Range 头可导致异常 |
|
||||
| P2-2 | ⚠️ 部分 | `fsys.py` L325, L423-431 | 密码/Token 未直接记录；email 日志脱敏改进（`email[:3]***` / `email[:8]***`），但 yhdet_callback 注册日志未脱敏（L389）— 注：yhdet 功能已禁用，该日志路径不再可达 |
|
||||
| P0-5 | ✅ 已修复 | `fsys.py` L300-314 | 新增 `_db_call()` 辅助函数，4个接口全部改为通过 pymsg RpcClient 调 db:8005 服务，不再直连 SQLite |
|
||||
| P1-1 | ✅ 已修复 | `fsys.py` L399-414 | 第 2 轮修复：添加滑动窗口速率限制（每 IP 每分钟 10 次）+ X-Forwarded-For 取真实 IP |
|
||||
| P1-2 | ✅ 已修复 | `fsys.py` L182-194 | 第 2 轮修复（NEW-5）：前缀校验改用 `base_dir_real + os.sep` 边界 |
|
||||
| P1-3 | ✅ 已修复 | `fsys.py` L360-467 | yhdet 系列功能全部注释禁用，默认密码问题随功能一同消除 |
|
||||
| P2-1 | ✅ 已修复 | `fsys.py` L278-288 | 第 2 轮修复：Range 边界校验（start/end 范围 + end>=start）+ int() 异常处理 |
|
||||
| P2-2 | ⚠️ 风险消除 | `fsys.py` L325, L423-431 | 密码/Token 未直接记录；yhdet 功能已禁用，未脱敏日志路径不再可达 |
|
||||
| NEW-1 | ✅ 已修复 | `fsys.py` L550-569 | `proxy_send_code` 路由已注释禁用 |
|
||||
| NEW-2 | ✅ 已修复 | `fsys.py` L472-473 | `PRIVATE_SECRET` 和 `YHDET_PRIVATE_API` 已注释 |
|
||||
| NEW-3 | ✅ 已修复 | `fsys.py` L486-494 | 第 2 轮修复：`_cors()` 按白名单 `_cors_origins` 回显 Origin，不再通配 `*` |
|
||||
| NEW-4 | ✅ 已修复 | `fsys.py` L550-569 | `proxy_send_code` 路由已注释禁用，死代码随功能一同消除 |
|
||||
|
||||
---
|
||||
|
||||
## 修复进度
|
||||
|
||||
| 优先级 | 总数 | 已修复 | 待修复 |
|
||||
|--------|------|--------|--------|
|
||||
| P0 | 5 | 5 | 0 |
|
||||
| P1 | 3 | 1 | 2 |
|
||||
| P2 | 2 | 0 | 2 |
|
||||
|
||||
---
|
||||
|
||||
## 🔴 P0 — 严重问题
|
||||
## P0 — 严重问题（全部已修复）
|
||||
|
||||
### P0-1: 无认证密码重置接口，可接管任意账户 ✅ 已修复
|
||||
- **位置**: `fsys.py:326-341`（已注释禁用）
|
||||
- **修复**: 整个 `/api/reset_password` 路由及其函数体已注释禁用，标注 "DISABLED: P0 security issue - no authentication, allows arbitrary password reset"
|
||||
- **修复**: 整个 `/api/reset_password` 路由已注释禁用
|
||||
|
||||
---
|
||||
|
||||
### P0-2: yhdet OAuth Token 为 base64(email:password)，解码即得明文密码 ✅ 已修复
|
||||
### P0-2: yhdet OAuth Token 为 base64(email:password) ✅ 已修复
|
||||
- **位置**: `fsys.py:360-467`（yhdet 功能已全部注释禁用）
|
||||
- **修复**: yhdet 系列功能（`yhdet_callback`、`yhdet_login`、`yhdet_verify`）全部注释禁用，Token 问题随功能一同消除
|
||||
|
||||
---
|
||||
|
||||
### P0-3: yhdet_callback 禁用 SSL 证书验证（中间人攻击） ✅ 已修复
|
||||
### P0-3: yhdet_callback 禁用 SSL 证书验证 ✅ 已修复
|
||||
- **位置**: `fsys.py:360-467`（yhdet 功能已全部注释禁用）
|
||||
- **修复**: yhdet 系列功能全部注释禁用，`_create_unverified_context()` SSL 跳过问题随功能一同消除
|
||||
|
||||
---
|
||||
|
||||
### P0-4: yhdet OAuth 硬编码密钥 ✅ 已修复
|
||||
- **位置**: `fsys.py:362`（已注释）
|
||||
- **修复**: `YHDET_SECRET` 已注释并设为空字符串，标注"已失效，原值: yhdet_qsont_oauth_2026_secret_key"
|
||||
|
||||
---
|
||||
- **位置**: `fsys.py:362`（已注释，原值 `yhdet_qsont_oauth_2026_secret_key`）
|
||||
|
||||
### P0-5: 直连 gateway SQLite 数据库文件，绕过 db 服务 ✅ 已修复
|
||||
- **位置**: `fsys.py:300-314`（新增 `_db_call` 辅助函数）、`fsys.py:344-355,395-401,421-443,446-466`（4个接口已改造）
|
||||
- **修复方案**:
|
||||
1. 新增 `_db_call()` 辅助函数，通过 `pymsg.RpcClient` 调用 db 服务（`127.0.0.1:8005`）的 `execute` 路由
|
||||
2. 4 个接口全部改为通过 db 服务操作 Users 表：
|
||||
- `api_check_user`：`_db_call('select', 'Users', ...)`
|
||||
- `yhdet_callback`：`_db_call('select'/'insert', 'Users', ...)`
|
||||
- `yhdet_login`：`_db_call('select', 'Users', ...)`
|
||||
- `yhdet_verify`：`_db_call('select', 'Users', ...)`
|
||||
3. 删除 `GATEWAY_DB` 和 `GATEWAY_DB_YHDET` 常量
|
||||
4. 移除所有 `import sqlite3` 局部导入
|
||||
- **位置**: `fsys.py:300-314`
|
||||
- **修复**: 新增 `_db_call()` 通过 pymsg RpcClient 调 db:8005，删除 `GATEWAY_DB`/`GATEWAY_DB_YHDET` 常量，移除 `import sqlite3`
|
||||
|
||||
### NEW-1: `proxy_send_code` 禁用 SSL 验证 ✅ 已修复
|
||||
- **位置**: `fsys.py:550-569`（已注释禁用）
|
||||
|
||||
### NEW-2: `PRIVATE_SECRET` 硬编码 ✅ 已修复
|
||||
- **位置**: `fsys.py:472-473`（已注释）
|
||||
|
||||
---
|
||||
|
||||
## 🟠 P1 — 高危问题
|
||||
## P1 — 高危问题（全部已修复）
|
||||
|
||||
| # | 问题 | 位置 |
|
||||
|---|------|------|
|
||||
| P1-1 | `/api/check_user` 无速率限制，可枚举有效邮箱 | `fsys.py:295-306` |
|
||||
| P1-2 | 文件服务路径遍历防护需全面审计 | 文件浏览/下载接口 |
|
||||
| P1-3 | yhdet 新用户默认密码可预测：`oauth_{user_id}` | `fsys.py:360-467`（yhdet 功能已禁用） | ✅ 已修复 |
|
||||
| # | 问题 | 位置 | 状态 |
|
||||
|---|------|------|------|
|
||||
| P1-1 | `/api/check_user` 无速率限制，可枚举有效邮箱 | `fsys.py:399-414` | ✅ 已修复（滑动窗口限速） |
|
||||
| P1-2 | 路径遍历防护前缀校验 bypass | `fsys.py:182-194` | ✅ 已修复（NEW-5 覆盖） |
|
||||
| P1-3 | yhdet 默认密码可预测 | `fsys.py:360-467` | ✅ 已修复 |
|
||||
| NEW-3 | dnfs 代理 CORS 通配 `*` | `fsys.py:486-494` | ✅ 已修复（白名单回显） |
|
||||
| NEW-5 | `safe_path_join` startswith 前缀绕过 | `fsys.py:182-194` | ✅ 已修复（os.sep 边界） |
|
||||
| NEW-6 | dnfs 代理错误响应泄露内部异常 | `fsys.py:514,523,532,541` | ✅ 已修复（通用错误 + 日志） |
|
||||
| NEW-7 | `serve_file` 大文件全量读入内存 | `fsys.py:675-683` | ✅ 已修复（send_file 流式） |
|
||||
|
||||
### NEW-5 详情见上方"第 2 轮审计新发现"
|
||||
### NEW-6 详情见上方"第 2 轮审计新发现"
|
||||
### NEW-7 详情见上方"第 2 轮审计新发现"
|
||||
|
||||
### P1-1: `/api/check_user` 无速率限制
|
||||
- **位置**: `fsys.py:344-355`
|
||||
- **问题**: 无速率限制，攻击者可批量枚举有效邮箱（返回 `found: true/false`）
|
||||
- **修复建议**: 添加 IP + email 维度的速率限制（如 `flask-limiter`），或引入验证码
|
||||
|
||||
### NEW-3: dnfs 代理 CORS 通配
|
||||
- **位置**: `fsys.py:481-485`
|
||||
- **问题**: `_cors()` 对 dnfs 代理路由的 OPTIONS 预检返回 `Access-Control-Allow-Origin: *`，绕过全局 CORS 白名单
|
||||
- **修复建议**: 按白名单 `_cors_origins` 改造 `_cors()`，或移除 `_cors()` 由全局 CORS 处理
|
||||
|
||||
---
|
||||
|
||||
## 🟡 P2 — 中危问题
|
||||
## P2 — 中危问题
|
||||
|
||||
| # | 问题 |
|
||||
|---|------|
|
||||
| P2-1 | 视频/音频 Range 请求实现需审计边界条件 |
|
||||
| P2-2 | 日志可能记录敏感信息（密码、Token） |
|
||||
| # | 问题 | 位置 | 状态 |
|
||||
|---|------|------|------|
|
||||
| P2-1 | Range 请求边界条件校验 | `fsys.py:278-288` | ✅ 已修复（边界校验 + 异常处理） |
|
||||
| P2-2 | 日志可能记录敏感信息 | `fsys.py` 多处 | ⚠️ 风险消除（yhdet 路径已不可达） |
|
||||
| NEW-8 | `api_hash` 公开哈希预言机 + 参数校验 | `fsys.py:366-378` | ✅ 已修复（限速 + silent=True + 类型校验） |
|
||||
| NEW-9 | `_db_call` 无连接复用/retry/环境变量 | `fsys.py:310-333` | ✅ 已修复（单例 + env + retry_on_refused） |
|
||||
| NEW-10 | `api_favicon` 端口未校验 + DNS rebinding | `fsys.py:675-677` | ✅ 已修复（端口校验；DNS rebinding 理论窗口需绑定 IP 彻底消除，当前可接受） |
|
||||
| NEW-11 | CSP `unsafe-inline` 削弱 XSS 防护 | `security_middleware.py:25-40` | ⚠️ 已知限制（需 nonce 架构改造） |
|
||||
| NEW-12 | SSL 模式回退 Flask 开发服务器 | `fsys.py:782-788` | ⚠️ 已知限制（需反代终止 TLS） |
|
||||
| NEW-13 | `log_client` 单条失败放弃整批 | `log_client.py:122-150` | ✅ 已修复（单条失败 continue） |
|
||||
| NEW-14 | `_confs_port` 未捕获 ValueError | `fsys.py:50-56` | ✅ 已修复（try/except + 明确错误） |
|
||||
|
||||
---
|
||||
|
||||
## ✅ 已有安全机制
|
||||
|
||||
1. ✅ **security_middleware.py**: 安全响应头（CSP、X-Frame-Options、nosniff、Permissions-Policy 等）
|
||||
2. ✅ **路径遍历防护**: `safe_path_join()` realpath 前缀校验，覆盖所有文件服务路由
|
||||
3. ✅ **dnfs 代理**: 解决浏览器跨域问题，支持 Cookie-to-Bearer Token 转发
|
||||
4. ✅ **静态文件托管**: 独立服务，经 gateway 代理访问
|
||||
5. ✅ **系统文件过滤**: 文件列表过滤 `__` 前缀的目录/文件（如 `__pycache__`、`__view.html`）
|
||||
|
||||
## 新增安全机制（审计后添加，审计报告未覆盖）
|
||||
|
||||
| 机制 | 代码位置 | 说明 |
|
||||
|------|----------|------|
|
||||
| 配置白名单合并 | `fsys.py` L63-71 | `_merge_ini` 仅覆盖已知 section/key，防止意外字段注入 |
|
||||
| 配置完整性校验 | `fsys.py` L104-115 | 启动时检查所有必需配置项，缺失则退出；ssl 段有合理默认值 |
|
||||
| `/api/favicon` SSRF 防护 | `fsys.py` L570-634 | 多层防护：仅 http/https、DNS 解析后 IP 黑名单（内网/环回/链路本地/保留/组播）、重定向目标重新校验、512KB 上限 |
|
||||
| 日志 email 脱敏 | `fsys.py` L325, L423-431 | 密码重置和 yhdet 登录日志中 email 仅保留前缀（`email[:3]***` / `email[:8]***`） |
|
||||
| 参数校验 | `fsys.py` L319-320, L335-336 | `api_reset_password` 和 `api_check_user` 新增参数非空校验 |
|
||||
| Cookie-to-Bearer 转发 | `fsys.py` L486, L502, L517, L532 | dnfs 代理路由支持 HttpOnly Cookie 模式，自动将 `q4_token` Cookie 转为 Authorization Bearer 头 |
|
||||
| 生产级服务器 | `fsys.py` L722-723 | 使用 Waitress 生产服务器（threads=8），替代 Flask 内置开发服务器 |
|
||||
| 本地日志轮转 | `fsys.py` L31-36 | RotatingFileHandler 10MB/10 个备份，防止日志文件无限增长 |
|
||||
|
||||
## 新发现问题（验证过程中发现，审计报告未覆盖）
|
||||
|
||||
| 编号 | 等级 | 问题 | 位置 | 说明 |
|
||||
|------|------|------|------|------|
|
||||
| NEW-1 | P0 | `proxy_send_code` 禁用 SSL 验证 | `fsys.py` L550-569 | ✅ 已修复：`proxy_send_code` 路由已注释禁用 |
|
||||
| NEW-2 | P0 | `PRIVATE_SECRET` 硬编码 | `fsys.py` L472-473 | ✅ 已修复：`PRIVATE_SECRET` 和 `YHDET_PRIVATE_API` 已注释 |
|
||||
| NEW-3 | P1 | CORS 配置过于宽松 | `fsys.py` L482 | `_cors` 函数设置 `Access-Control-Allow-Origin: *`，允许任意来源 |
|
||||
| NEW-4 | P2 | `proxy_send_code` 包含死代码 | `fsys.py` L550-569 | ✅ 已修复：`proxy_send_code` 路由已注释禁用，死代码随功能一同消除 |
|
||||
1. **security_middleware.py**: 安全响应头（CSP、X-Frame-Options、nosniff、Permissions-Policy 等）
|
||||
2. **路径遍历防护**: `safe_path_join()` realpath 前缀校验（注：存在 NEW-5 bypass，需修复）
|
||||
3. **dnfs 代理**: 解决浏览器跨域，支持 Cookie-to-Bearer Token 转发
|
||||
4. **静态文件托管**: 独立服务，经 gateway 代理访问
|
||||
5. **系统文件过滤**: 文件列表过滤 `__` 前缀
|
||||
6. **配置白名单合并**: `_merge_ini` 仅覆盖已知 section/key
|
||||
7. **配置完整性校验**: 启动时检查必需配置项
|
||||
8. **`/api/favicon` SSRF 防护**: 仅 http/https + 内网 IP 拦截 + 重定向校验 + 512KB 上限
|
||||
9. **日志 email 脱敏**: `email[:3]***` / `email[:8]***`
|
||||
10. **Cookie-to-Bearer 转发**: dnfs 代理路由支持 HttpOnly Cookie 模式
|
||||
11. **生产级服务器**: 非 SSL 模式使用 Waitress（threads=8）
|
||||
12. **本地日志轮转**: RotatingFileHandler 10MB/10 备份
|
||||
13. **confs 强依赖 + retry**: `retry_on_refused=True` 自动等待 confs 就绪
|
||||
|
||||
---
|
||||
|
||||
## 修复路线图
|
||||
|
||||
### 立即（24小时）
|
||||
- [x] 禁用/删除无认证的 `/api/reset_password` 接口（P0-1） ✅ 已完成
|
||||
- [x] 所有数据库操作迁移到 pymsg 调 db 服务（P0-5） ✅ 已完成
|
||||
- [x] 禁用 yhdet 系列功能，消除 P0-2/P0-3/P0-4/NEW-1/NEW-2 全部风险 ✅ 已完成
|
||||
- [x] 移除硬编码 YHDET_SECRET 和 PRIVATE_SECRET（P0-4 + NEW-2） ✅ 已完成
|
||||
### 立即（P1，优先处理）— ✅ 全部完成
|
||||
- [x] **NEW-5**: 修复 `safe_path_join` 前缀校验（改用 `base_dir_real + os.sep` 边界）
|
||||
- [x] **NEW-6**: dnfs 代理错误响应改为通用消息，详情记日志
|
||||
- [x] **NEW-7**: `serve_file` 普通文件分支改用 `send_file` 流式传输
|
||||
- [x] **P1-1**: `/api/check_user` 添加速率限制（滑动窗口 + api_hash 也加限速）
|
||||
- [x] **NEW-3**: dnfs 代理 CORS 按白名单改造
|
||||
|
||||
### 短期（72小时）
|
||||
- [ ] `/api/check_user` 添加速率限制（P1-1）
|
||||
- [ ] CORS 限制为具体域名（NEW-3）
|
||||
### 短期（P2）— ✅ 全部完成
|
||||
- [x] **P2-1**: Range 请求边界条件校验（end >= start, end < file_size, 异常处理）
|
||||
- [x] **NEW-8**: `api_hash` 移除 `force=True` + 类型校验 + 限速
|
||||
- [x] **NEW-9**: `_db_call` 使用单例 client + 环境变量 + retry
|
||||
- [x] **NEW-14**: `_confs_port` 捕获 ValueError（同时修复 LISTEN_PORT、DB_PORT）
|
||||
|
||||
### 中期
|
||||
- [ ] Range 请求边界条件校验（P2-1）
|
||||
- [ ] P1-2 路径遍历防护状态确认（经审计已确认实现正确，标记为已验证）
|
||||
### 中期（P2）
|
||||
- [x] **NEW-10**: `api_favicon` 端口校验（DNS rebinding 理论窗口记录为已知限制）
|
||||
- [ ] **NEW-11**: ⚠️ 已知限制 — 评估 CSP 改用 nonce 替代 `unsafe-inline`（需改造 dnfs 前端注入逻辑）
|
||||
- [ ] **NEW-12**: ⚠️ 已知限制 — SSL 模式架构层面解决（反代终止 TLS，已加 ERROR 级日志警告）
|
||||
- [x] **NEW-13**: `log_client._send_batch` 单条失败 continue（不再放弃整批）
|
||||
@@ -334,7 +334,7 @@ ServeHTTP 中 defer 只关闭了 WAF 事务 `tx`，但没有显式关闭/耗尽
|
||||
|
||||
## 代码验证记录
|
||||
|
||||
**验证日期**: 2026-08-03
|
||||
**验证日期**: 2026-08-08（三次验证，P3 全量修复）
|
||||
**验证方式**: 逐条对照审计报告与当前代码
|
||||
|
||||
### 验证结果汇总
|
||||
@@ -342,29 +342,49 @@ ServeHTTP 中 defer 只关闭了 WAF 事务 `tx`，但没有显式关闭/耗尽
|
||||
| 等级 | 总数 | 已修复 | 未修复 | 修复率 |
|
||||
|------|------|--------|--------|--------|
|
||||
| P0 | 3 | 2 | 1 | 67% |
|
||||
| P1 | 5 | 1 | 4 | 20% |
|
||||
| P2 | 6 | 3 | 3 | 50% |
|
||||
| P3 | 3 | 0 | 3 | 0% |
|
||||
| **合计** | **17** | **6** | **11** | **35%** |
|
||||
| P1 | 5 | 5 | 0 | 100% |
|
||||
| P2 | 6 | 6 | 0 | 100% |
|
||||
| P3 | 3 | 3 | 0 | 100% |
|
||||
| **合计** | **17** | **16** | **1** | **94%** |
|
||||
|
||||
### 逐条验证
|
||||
|
||||
| 编号 | 状态 | 代码位置 |
|
||||
|------|------|----------|
|
||||
| P0-1 | ✅ 已修复 | `proxy.go` L22-23 `maxRequestBodySize`，L128-151 `io.LimitReader` + 413 |
|
||||
| P0-2 | ✅ 已修复 | `main.go` L111-122 五项超时/大小限制已设置 |
|
||||
| **P0-3** | ❌ 未修复 | `custom.conf` 全部 6 条规则仍被 `#` 注释 |
|
||||
| **P1-1** | ❌ 未修复 | `proxy.go` L47-48 仍用 `LastIndexByte(':')`，未用 `net.SplitHostPort` |
|
||||
| **P1-2** | ❌ 未修复 | `proxy.go` L194 `ProcessResponseHeaders` 返回值被丢弃 |
|
||||
| P0-2 | ✅ 已修复 | `main.go` L112-123 五项超时/大小限制已设置 |
|
||||
| **P0-3** | ❌ 未修复 | `custom.conf` 全部 6 条规则仍被 `#` 注释（依赖拉取 CRS 生效） |
|
||||
| P1-1 | ✅ 已修复 | `proxy.go` L45-49、L102-105 改用 `net.SplitHostPort`，正确处理 IPv6 |
|
||||
| P1-2 | ✅ 已修复 | `proxy.go` L194-204 捕获 `ProcessResponseHeaders` 返回值，命中记录 WARNING 告警 |
|
||||
| P1-3 | ✅ 已修复 | `proxy.go` L130-135 读取错误已记录日志并返回 |
|
||||
| **P1-4** | ❌ 未修复 | `main.go` L99-109 只处理 SIGHUP，无 SIGINT/SIGTERM |
|
||||
| **P1-5** | ❌ 未修复 | `main.go` L89 `log.SetOutput(io.Discard)` 仍在 |
|
||||
| **P2-1** | ❌ 未修复 | `engine.go` L157 `os.ReadFile` 无前置大小检查 |
|
||||
| **P2-2** | ❌ 未修复 | `logclient.go` L24 `const dbAddr = "127.0.0.1:8005"` 硬编码 |
|
||||
| P1-4 | ✅ 已修复 | `main.go` L125-152 SIGINT/SIGTERM 优雅关闭 + `logclient.Flush()` |
|
||||
| P1-5 | ✅ 已修复 | `main.go` L89-90 `log.SetOutput(os.Stderr)`，保留 panic 堆栈 |
|
||||
| P2-1 | ✅ 已修复 | `engine.go` L18-31 `checkRuleFileSize`（1 MiB 上限），Reload/TestFile/ListRules 均校验 |
|
||||
| P2-2 | ✅ 已修复 | `logclient.go` L25-40 支持 `LOG_DB_ADDR` 环境变量 |
|
||||
| P2-3 | ✅ 已修复 | `proxy.go` L194 改为 `r.Proto` |
|
||||
| P2-4 | ✅ 已修复 | `proxy.go` L254-269 完整实现 `Hijack()` |
|
||||
| **P2-5** | ❌ 未修复 | `logclient.go` L223 `fmt.Printf` 到 stdout |
|
||||
| P2-5 | ✅ 已修复 | `logclient.go` L233 `fmt.Fprintf(os.Stderr, ...)` |
|
||||
| P2-6 | ✅ 已修复 | `proxy.go` L93-97 defer 中 drain + close |
|
||||
| P3-1 | ❌ 未修复 | `logclient.go` L229 每条日志 `net.DialTimeout` 短连接 |
|
||||
| P3-2 | ❌ 未修复 | `main.go` L119-121 仅设置 MinVersion，未限定 CipherSuites |
|
||||
| P3-3 | ❌ 未修复 | `engine.go` L103-129 CheckInput 编码逻辑未变 |
|
||||
| P3-1 | ✅ 已修复 | `logclient.go` pymsgCall 改为方法，复用长连接，失败时重建一次 |
|
||||
| P3-2 | ✅ 已修复 | `main.go` L120-142 显式限定 CipherSuites + CurvePreferences |
|
||||
| P3-3 | ✅ 已修复 | `engine.go` CheckInput 改用 `url.Parse` + `Query().Encode()` 重构编码 |
|
||||
|
||||
### 二次修复说明（2026-08-08）
|
||||
|
||||
本轮修复 P1 全部 4 项 + P2 剩余 3 项，P1/P2 清零，修复率 35% → 76%。
|
||||
|
||||
- **P1-1**：`X-Forwarded-For` 与 `ProcessConnection` 的 IP 解析统一改用 `net.SplitHostPort`，IPv6 地址（如 `[::1]:54321`）不再带方括号，gateway RateLimiter 限流恢复正确。
|
||||
- **P1-2**：`ProcessResponseHeaders` 返回值不再被丢弃。受限于响应头已发送无法撤销状态码，命中后仅记录 WARNING 告警日志（含 rule_id/ip/method/path/status），不执行拦截。
|
||||
- **P1-4**：新增 SIGINT/SIGTERM 监听，`server.Shutdown(ctx)` 给进行中请求 10s 宽限期，退出前 `logclient.Flush()` 刷新队列日志，避免日志丢失。
|
||||
- **P1-5**：标准 `log` 输出由 `io.Discard` 改为 `os.Stderr`，net/http 的 panic 堆栈与 TLS 握手错误可被 journalctl 捕获。
|
||||
- **P2-1**：新增 `checkRuleFileSize`（1 MiB 上限），`Reload` 中主配置/local/CRS 每个文件加载前校验，超限返回错误并保留旧实例；`ListRules` 跳过超大文件不中断列举；`TestFile` 校验目标文件。
|
||||
- **P2-2**：logclient db 地址支持环境变量 `LOG_DB_ADDR`（默认 `127.0.0.1:8005`），非标准部署可配置。
|
||||
- **P2-5**：日志 INSERT 失败由 `fmt.Printf`（stdout）改为 `fmt.Fprintf(os.Stderr, ...)`，带时间戳/级别可被守护进程捕获。
|
||||
|
||||
### 三次修复说明（2026-08-08）
|
||||
|
||||
本轮修复 P3 全部 3 项，P3 清零，修复率 76% → 94%。仅剩 P0-3（默认规则注释，设计上依赖拉取 CRS 生效，非代码缺陷）。
|
||||
|
||||
- **P3-1**：`pymsgCall` 由包级函数改为 `Client` 方法，复用 `c.conn` 长连接；首次发送失败时 `closeConn` 后重建一次，避免高并发拦截场景下每条日志新建 TCP 短连接导致 TIME_WAIT 堆积。`send` 仅在 `flushLoop` 单 goroutine 调用，无需额外加锁。
|
||||
- **P3-2**：`TLSConfig` 显式限定 `CipherSuites`（TLS 1.3 三套 + TLS 1.2 ECDHE 六套，全部 AEAD + 前向保密）与 `CurvePreferences`（X25519/P256/P384），排除 RC4/3DES/CBC 等弱加密套件。
|
||||
- **P3-3**：`CheckInput` 的 query 编码逻辑由手动 `Split("&")` + `Index("=")` 改为 `url.Parse` + `Query().Encode()`，正确处理无值 key、重复 key、嵌套结构等边界情况。
|
||||
+122
-62
@@ -49,7 +49,11 @@ apply_security_headers(app)
|
||||
|
||||
# 引导配置：confs 连接地址（不依赖 confs 本身）
|
||||
_confs_host = os.environ.get('CONFS_HOST', '127.0.0.1')
|
||||
_confs_port = int(os.environ.get('CONFS_PORT', '8010'))
|
||||
try:
|
||||
_confs_port = int(os.environ.get('CONFS_PORT', '8010'))
|
||||
except ValueError:
|
||||
print('[static] 致命错误: CONFS_PORT 不是合法整数', file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
# 白名单结构：_merge_ini 仅覆盖此处列出的 section/key，防止意外字段
|
||||
file_config = {
|
||||
@@ -181,13 +185,15 @@ def get_media_mime_type(filename):
|
||||
|
||||
def safe_path_join(base_dir, user_path):
|
||||
if not user_path or user_path.strip() == '' or user_path.strip() == '/':
|
||||
return base_dir
|
||||
return os.path.realpath(base_dir)
|
||||
if user_path.startswith('/'):
|
||||
user_path = user_path[1:]
|
||||
full_path = os.path.normpath(os.path.join(base_dir, user_path))
|
||||
base_dir_real = os.path.realpath(base_dir)
|
||||
full_path_real = os.path.realpath(full_path)
|
||||
if not full_path_real.startswith(base_dir_real):
|
||||
# 边界校验：必须等于 base_dir 或以 base_dir + 路径分隔符开头，
|
||||
# 防止 /app/public_secret 绕过 /app/public 前缀校验（NEW-5）
|
||||
if full_path_real != base_dir_real and not full_path_real.startswith(base_dir_real + os.sep):
|
||||
return None
|
||||
return full_path_real
|
||||
|
||||
@@ -271,10 +277,14 @@ def stream_video(file_path):
|
||||
|
||||
if range_header:
|
||||
byte_range = range_header.replace('bytes=', '').split('-')
|
||||
start = int(byte_range[0]) if byte_range[0] else 0
|
||||
end = int(byte_range[1]) if len(byte_range) > 1 and byte_range[1] else file_size - 1
|
||||
try:
|
||||
start = int(byte_range[0]) if byte_range[0] else 0
|
||||
end = int(byte_range[1]) if len(byte_range) > 1 and byte_range[1] else file_size - 1
|
||||
except (ValueError, IndexError):
|
||||
return jsonify({'error': '无效的 Range 请求'}), 400
|
||||
|
||||
if start >= file_size:
|
||||
# 边界校验（P2-1）：start/end 必须在 [0, file_size-1] 且 end >= start
|
||||
if start < 0 or start >= file_size or end >= file_size or end < start:
|
||||
return jsonify({'error': '请求范围超出文件大小'}), 416
|
||||
|
||||
length = end - start + 1
|
||||
@@ -298,9 +308,18 @@ def stream_video(file_path):
|
||||
return jsonify({'error': str(e)}), 500
|
||||
|
||||
# db 服务 RPC 调用辅助函数（替代直连 SQLite）
|
||||
# NEW-9：模块级单例 client + 环境变量 + retry_on_refused，避免每次调用新建连接
|
||||
_db_host = os.environ.get('DB_HOST', '127.0.0.1')
|
||||
try:
|
||||
_db_port = int(os.environ.get('DB_PORT', '8005'))
|
||||
except ValueError:
|
||||
print('[static] 致命错误: DB_PORT 不是合法整数', file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
from pymsg import RpcClient as _RpcClient, RpcError as _RpcError
|
||||
_db_client = _RpcClient(_db_host, _db_port, 'static', timeout=5, retry_on_refused=True)
|
||||
|
||||
def _db_call(action, table, where=None, values=None, columns=None):
|
||||
from pymsg import RpcClient, RpcError
|
||||
client = RpcClient('127.0.0.1', 8005, 'static', timeout=5)
|
||||
data = {"action": action, "table": table}
|
||||
if where is not None:
|
||||
data["where"] = where
|
||||
@@ -308,18 +327,54 @@ def _db_call(action, table, where=None, values=None, columns=None):
|
||||
data["values"] = values
|
||||
if columns is not None:
|
||||
data["columns"] = columns
|
||||
result = client.call('execute', data)
|
||||
result = _db_client.call('execute', data)
|
||||
if not result.get('success'):
|
||||
raise RpcError(f"db execute failed: {result.get('error', 'unknown')}")
|
||||
raise _RpcError(f"db execute failed: {result.get('error', 'unknown')}")
|
||||
return result.get('data', [])
|
||||
|
||||
|
||||
# ==================== 速率限制（P1-1：内存滑动窗口，无需外部依赖） ====================
|
||||
import time
|
||||
import threading
|
||||
|
||||
_rate_limit_lock = threading.Lock()
|
||||
_rate_limit_store = {} # key -> list of timestamps
|
||||
|
||||
def _check_rate_limit(key, max_requests, window_seconds):
|
||||
"""滑动窗口限速。返回 True 表示允许，False 表示超限。"""
|
||||
now = time.time()
|
||||
cutoff = now - window_seconds
|
||||
with _rate_limit_lock:
|
||||
timestamps = _rate_limit_store.get(key, [])
|
||||
# 清理过期记录
|
||||
timestamps = [t for t in timestamps if t > cutoff]
|
||||
if len(timestamps) >= max_requests:
|
||||
_rate_limit_store[key] = timestamps
|
||||
return False
|
||||
timestamps.append(now)
|
||||
_rate_limit_store[key] = timestamps
|
||||
return True
|
||||
|
||||
def _client_ip():
|
||||
"""获取客户端 IP（gateway 反代场景取 X-Forwarded-For 首段）。"""
|
||||
xff = request.headers.get('X-Forwarded-For', '')
|
||||
if xff:
|
||||
return xff.split(',')[0].strip()
|
||||
return request.remote_addr or 'unknown'
|
||||
|
||||
|
||||
@app.route('/api/hash', methods=['POST'])
|
||||
def api_hash():
|
||||
from flask import request, jsonify
|
||||
import hashlib
|
||||
data = request.get_json(force=True)
|
||||
h = hashlib.sha256(data.get('password','').encode()).hexdigest()
|
||||
# P1-1：哈希预言机限速，每 IP 每分钟 20 次
|
||||
if not _check_rate_limit(f"hash:{_client_ip()}", max_requests=20, window_seconds=60):
|
||||
return jsonify({"error": "rate limit exceeded"}), 429
|
||||
# NEW-8：移除 force=True，增加类型校验
|
||||
data = request.get_json(silent=True) or {}
|
||||
password = data.get('password', '')
|
||||
if not isinstance(password, str):
|
||||
return jsonify({"error": "invalid input"}), 400
|
||||
h = hashlib.sha256(password.encode()).hexdigest()
|
||||
return jsonify({"hash": h})
|
||||
|
||||
|
||||
@@ -343,16 +398,20 @@ def api_hash():
|
||||
|
||||
@app.route('/api/check_user', methods=['POST'])
|
||||
def api_check_user():
|
||||
from flask import request, jsonify
|
||||
data = request.get_json(force=True)
|
||||
email = data.get('email', '').strip()
|
||||
if not email:
|
||||
# P1-1：邮箱枚举防护，每 IP 每分钟 10 次
|
||||
if not _check_rate_limit(f"check_user:{_client_ip()}", max_requests=10, window_seconds=60):
|
||||
return jsonify({"success": False, "error": "rate limit exceeded"}), 429
|
||||
data = request.get_json(silent=True) or {}
|
||||
email = data.get('email', '')
|
||||
if not isinstance(email, str) or not email.strip():
|
||||
return jsonify({"success": False, "error": "missing email"}), 400
|
||||
email = email.strip()
|
||||
try:
|
||||
rows = _db_call('select', 'Users', where={'email': email}, columns=['email'])
|
||||
return jsonify({"success": True, "found": len(rows) > 0})
|
||||
except Exception as e:
|
||||
return jsonify({"success": False, "error": str(e)}), 500
|
||||
logs.warning("static", "check_user 查询失败", extra={"error": str(e)})
|
||||
return jsonify({"success": False, "error": "query failed"}), 500
|
||||
|
||||
|
||||
|
||||
@@ -478,73 +537,66 @@ import urllib.request as _urlreq, json as _json
|
||||
|
||||
DNFS_URL = "http://127.0.0.1:8006"
|
||||
|
||||
# dnfs 代理路由通用错误响应（NEW-6：不泄露内部异常细节）
|
||||
_DNFS_PROXY_ERROR = _json.dumps({"error": "upstream unavailable"}).encode()
|
||||
|
||||
def _cors(resp):
|
||||
resp.headers["Access-Control-Allow-Origin"] = "*"
|
||||
"""dnfs 代理路由 CORS：按白名单回显 Origin，不再通配 *（NEW-3）。"""
|
||||
origin = request.headers.get("Origin")
|
||||
if origin and origin in _cors_origins:
|
||||
resp.headers["Access-Control-Allow-Origin"] = origin
|
||||
resp.headers["Vary"] = "Origin"
|
||||
resp.headers["Access-Control-Allow-Headers"] = "Content-Type, Authorization"
|
||||
resp.headers["Access-Control-Allow-Methods"] = "GET, POST, OPTIONS"
|
||||
return resp
|
||||
|
||||
def _proxy_to_dnfs(route_name):
|
||||
"""dnfs 代理通用逻辑：转发 JSON + Authorization，返回响应。"""
|
||||
data = request.get_json(force=True)
|
||||
h = {"Content-Type": "application/json"}
|
||||
if "Authorization" in request.headers:
|
||||
h["Authorization"] = request.headers["Authorization"]
|
||||
elif request.cookies.get("q4_token"):
|
||||
h["Authorization"] = f"Bearer {request.cookies['q4_token']}" # HttpOnly Cookie 模式：Cookie 转 Bearer
|
||||
req = _urlreq.Request(f"{DNFS_URL}/{route_name}", data=_json.dumps(data).encode(), headers=h, method="POST")
|
||||
with _urlreq.urlopen(req, timeout=15) as r:
|
||||
return _cors(make_response(r.read().decode(), 200, {"Content-Type": "application/json"}))
|
||||
|
||||
@app.route('/get_notes', methods=['POST', 'OPTIONS'])
|
||||
def proxy_get_notes():
|
||||
if request.method == "OPTIONS": return _cors(make_response("", 204))
|
||||
try:
|
||||
data = request.get_json(force=True)
|
||||
h = {"Content-Type": "application/json"}
|
||||
if "Authorization" in request.headers: h["Authorization"] = request.headers["Authorization"]
|
||||
elif request.cookies.get("q4_token"): h["Authorization"] = f"Bearer {request.cookies['q4_token']}" # HttpOnly Cookie 模式：Cookie 转 Bearer
|
||||
req = _urlreq.Request(f"{DNFS_URL}/get_notes", data=_json.dumps(data).encode(), headers=h, method="POST")
|
||||
with _urlreq.urlopen(req, timeout=15) as r:
|
||||
return _cors(make_response(r.read().decode(), 200, {"Content-Type": "application/json"}))
|
||||
return _proxy_to_dnfs("get_notes")
|
||||
except Exception as e:
|
||||
logs.warning("static", "dnfs get_notes 代理失败",
|
||||
extra={"error": str(e)})
|
||||
return _cors(make_response(_json.dumps({"error": str(e)}), 502, {"Content-Type": "application/json"}))
|
||||
logs.warning("static", "dnfs get_notes 代理失败", extra={"error": str(e)})
|
||||
return _cors(make_response(_DNFS_PROXY_ERROR, 502, {"Content-Type": "application/json"}))
|
||||
|
||||
@app.route('/add_note', methods=['POST', 'OPTIONS'])
|
||||
def proxy_add_note():
|
||||
if request.method == "OPTIONS": return _cors(make_response("", 204))
|
||||
try:
|
||||
data = request.get_json(force=True)
|
||||
h = {"Content-Type": "application/json"}
|
||||
if "Authorization" in request.headers: h["Authorization"] = request.headers["Authorization"]
|
||||
elif request.cookies.get("q4_token"): h["Authorization"] = f"Bearer {request.cookies['q4_token']}" # HttpOnly Cookie 模式：Cookie 转 Bearer
|
||||
req = _urlreq.Request(f"{DNFS_URL}/add_note", data=_json.dumps(data).encode(), headers=h, method="POST")
|
||||
with _urlreq.urlopen(req, timeout=15) as r:
|
||||
return _cors(make_response(r.read().decode(), 200, {"Content-Type": "application/json"}))
|
||||
return _proxy_to_dnfs("add_note")
|
||||
except Exception as e:
|
||||
logs.warning("static", "dnfs add_note 代理失败", extra={"error": str(e)})
|
||||
return _cors(make_response(_json.dumps({"error": str(e)}), 502, {"Content-Type": "application/json"}))
|
||||
return _cors(make_response(_DNFS_PROXY_ERROR, 502, {"Content-Type": "application/json"}))
|
||||
|
||||
@app.route('/delete_note', methods=['POST', 'OPTIONS'])
|
||||
def proxy_delete_note():
|
||||
if request.method == "OPTIONS": return _cors(make_response("", 204))
|
||||
try:
|
||||
data = request.get_json(force=True)
|
||||
h = {"Content-Type": "application/json"}
|
||||
if "Authorization" in request.headers: h["Authorization"] = request.headers["Authorization"]
|
||||
elif request.cookies.get("q4_token"): h["Authorization"] = f"Bearer {request.cookies['q4_token']}" # HttpOnly Cookie 模式：Cookie 转 Bearer
|
||||
req = _urlreq.Request(f"{DNFS_URL}/delete_note", data=_json.dumps(data).encode(), headers=h, method="POST")
|
||||
with _urlreq.urlopen(req, timeout=15) as r:
|
||||
return _cors(make_response(r.read().decode(), 200, {"Content-Type": "application/json"}))
|
||||
return _proxy_to_dnfs("delete_note")
|
||||
except Exception as e:
|
||||
logs.warning("static", "dnfs delete_note 代理失败", extra={"error": str(e)})
|
||||
return _cors(make_response(_json.dumps({"error": str(e)}), 502, {"Content-Type": "application/json"}))
|
||||
return _cors(make_response(_DNFS_PROXY_ERROR, 502, {"Content-Type": "application/json"}))
|
||||
|
||||
@app.route('/update_note', methods=['POST', 'OPTIONS'])
|
||||
def proxy_update_note():
|
||||
if request.method == "OPTIONS": return _cors(make_response("", 204))
|
||||
try:
|
||||
data = request.get_json(force=True)
|
||||
h = {"Content-Type": "application/json"}
|
||||
if "Authorization" in request.headers: h["Authorization"] = request.headers["Authorization"]
|
||||
elif request.cookies.get("q4_token"): h["Authorization"] = f"Bearer {request.cookies['q4_token']}" # HttpOnly Cookie 模式：Cookie 转 Bearer
|
||||
req = _urlreq.Request(f"{DNFS_URL}/update_note", data=_json.dumps(data).encode(), headers=h, method="POST")
|
||||
with _urlreq.urlopen(req, timeout=15) as r:
|
||||
return _cors(make_response(r.read().decode(), 200, {"Content-Type": "application/json"}))
|
||||
return _proxy_to_dnfs("update_note")
|
||||
except Exception as e:
|
||||
logs.warning("static", "dnfs update_note 代理失败",
|
||||
extra={"error": str(e)})
|
||||
return _cors(make_response(_json.dumps({"error": str(e)}), 502, {"Content-Type": "application/json"}))
|
||||
logs.warning("static", "dnfs update_note 代理失败", extra={"error": str(e)})
|
||||
return _cors(make_response(_DNFS_PROXY_ERROR, 502, {"Content-Type": "application/json"}))
|
||||
|
||||
|
||||
# @app.route('/api/proxy_send_code', methods=['POST'])
|
||||
@@ -620,6 +672,9 @@ def api_favicon():
|
||||
return jsonify({'error': 'bad url'}), 400
|
||||
if parsed.scheme not in ('http', 'https') or not parsed.hostname:
|
||||
return jsonify({'error': 'bad url'}), 400
|
||||
# NEW-10：校验端口范围，防止端口扫描
|
||||
if parsed.port is not None and not (1 <= parsed.port <= 65535):
|
||||
return jsonify({'error': 'bad port'}), 400
|
||||
if _is_private_host(parsed.hostname):
|
||||
return jsonify({'error': 'forbidden host'}), 403
|
||||
|
||||
@@ -677,9 +732,7 @@ def serve_file(path):
|
||||
if is_video_file(full_path) or is_audio_file(full_path):
|
||||
return send_file(full_path, mimetype=get_media_mime_type(full_path))
|
||||
|
||||
# 普通文件
|
||||
with open(full_path, 'rb') as f:
|
||||
content = f.read()
|
||||
# 普通文件：使用 send_file 流式传输，避免大文件全量读入内存（NEW-7）
|
||||
ext = os.path.splitext(full_path)[1].lower()
|
||||
mime_map = {
|
||||
'.html': 'text/html', '.js': 'application/javascript', '.css': 'text/css',
|
||||
@@ -687,7 +740,7 @@ def serve_file(path):
|
||||
'.jpeg': 'image/jpeg', '.gif': 'image/gif', '.txt': 'text/plain',
|
||||
'.pdf': 'application/pdf', '.svg': 'image/svg+xml', '.ico': 'image/x-icon'
|
||||
}
|
||||
return Response(content, mimetype=mime_map.get(ext, 'application/octet-stream'))
|
||||
return send_file(full_path, mimetype=mime_map.get(ext, 'application/octet-stream'))
|
||||
|
||||
# 目录处理：返回 __view.html，由前端 JS 根据 URL 路径调用 /api/filelist 拉取文件列表
|
||||
view_path = os.path.join(HTML_ROOT_DIR, VIEW_FILE)
|
||||
@@ -711,7 +764,11 @@ def health_check():
|
||||
|
||||
if __name__ == '__main__':
|
||||
host = file_config['server']['host']
|
||||
port = int(file_config['server']['port'])
|
||||
try:
|
||||
port = int(file_config['server']['port'])
|
||||
except (ValueError, TypeError):
|
||||
print('[static] 致命错误: server.port 不是合法整数', file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
print("\n" + "="*50)
|
||||
print("📁 文件托管服务器 (极简版)")
|
||||
@@ -723,8 +780,11 @@ if __name__ == '__main__':
|
||||
print("\n")
|
||||
|
||||
if SSL_ENABLED and os.path.exists(SSL_CERT_FILE) and os.path.exists(SSL_KEY_FILE):
|
||||
# Waitress 不支持 TLS，SSL 场景回退到 Flask 内置服务器
|
||||
logger.warning("SSL enabled: falling back to Flask built-in server (Waitress has no TLS support)")
|
||||
# NEW-12（已知限制）：Waitress 不支持 TLS，SSL 场景回退到 Flask 内置开发服务器。
|
||||
# 生产环境应在 waf/gateway 层终止 TLS，不应在此处启用 SSL。
|
||||
# 若运维启用此处 SSL，将面临单线程、无并发、调试信息泄露等风险。
|
||||
logger.error("SSL enabled at static layer: using Flask dev server (NOT production-safe). "
|
||||
"TLS should be terminated at waf/gateway, not here.")
|
||||
app.run(host=host, port=port, ssl_context=(SSL_CERT_FILE, SSL_KEY_FILE), debug=False)
|
||||
else:
|
||||
from waitress import serve
|
||||
|
||||
@@ -120,7 +120,11 @@ class LogClient:
|
||||
# ── 内部实现 ────────────────────────────────────────────────────────
|
||||
|
||||
def _send_batch(self, batch: list):
|
||||
"""后台线程回调：逐条 INSERT 到 db（与旧版行为一致：网络错误放弃本批剩余）。"""
|
||||
"""后台线程回调：逐条 INSERT 到 db。
|
||||
|
||||
NEW-13：单条失败仅跳过该条，不再因网络异常放弃整批剩余日志。
|
||||
RpcError 视为可重试的业务错误（如 db 临时拒绝），继续处理下一条。
|
||||
"""
|
||||
for entry in batch:
|
||||
extra_val = entry.get("extra")
|
||||
try:
|
||||
@@ -141,11 +145,9 @@ class LogClient:
|
||||
}
|
||||
try:
|
||||
self._client.call("execute", payload, timeout=_TIMEOUT)
|
||||
except RpcError as e:
|
||||
print(f"[log_client] INSERT 失败: {e}", file=_sys.stderr)
|
||||
except Exception as e:
|
||||
print(f"[log_client] 发送失败（放弃本批剩余）: {e}", file=_sys.stderr)
|
||||
break
|
||||
print(f"[log_client] INSERT 失败（跳过本条）: {e}", file=_sys.stderr)
|
||||
continue
|
||||
|
||||
def _on_error(self, e: Exception, batch: list):
|
||||
"""异常安全网：handler 外的异常也不会崩溃线程。"""
|
||||
|
||||
@@ -23,6 +23,9 @@ def apply_security_headers(app, csp_policy=None):
|
||||
response.headers['Permissions-Policy'] = 'camera=(), microphone=(), geolocation=()'
|
||||
|
||||
# Content Security Policy
|
||||
# 注：script-src 含 'unsafe-inline' 因 dnfs 特殊节点"前端代码"功能需要内联脚本。
|
||||
# NEW-11（已知限制）：若发生 HTML 注入，CSP 无法阻止 XSS 执行。
|
||||
# 后续改进方向：改用 CSP nonce（'nonce-{random}'），需同步改造 dnfs 前端注入逻辑。
|
||||
if csp_policy:
|
||||
response.headers['Content-Security-Policy'] = csp_policy
|
||||
else:
|
||||
|
||||
+20
-6
@@ -333,21 +333,35 @@ WAF 支持透明代理 WebSocket 连接（如 aibox 的 WebSocket 接口）。
|
||||
|
||||
## 已知限制
|
||||
|
||||
- 响应头检测（`ProcessResponseHeaders`）当前仅做审计日志，命中后不执行拦截（响应头已发送无法撤销状态码）。如需响应头拦截需引入 buffered response writer。
|
||||
- 响应头检测（`ProcessResponseHeaders`）命中后仅记录 WARNING 告警日志，不执行拦截（响应头已发送无法撤销状态码）。如需响应头拦截需引入 buffered response writer。
|
||||
- **响应体检测未启用**（未 `ProcessResponseBody`，缓冲整个响应延迟成本高）。SQL 报错回显等响应体泄漏检测缺失。
|
||||
- **WebSocket 帧内容不检测**：升级后二进制帧直接转发，不经过 WAF 规则引擎（适用于内部可信服务如 aibox）。
|
||||
- 限流/黑白名单未实现，可后续作为 coraza 规则或独立中间件加。
|
||||
- TLS 仅设 `MinVersion: TLS1.2`，未限定 cipher suites，允许弱加密套件。
|
||||
- `X-Forwarded-For` 直接覆盖原值（`Header.Set`），未按 RFC 7239 追加；当前 gateway 也只取第一个 IP，无实际影响，但语义不严格。注意：IPv6 地址在 X-Forwarded-For 中可能带方括号（待修复，使用 `LastIndexByte` 无法正确处理 IPv6 格式）。
|
||||
- `X-Forwarded-For` 直接覆盖原值（`Header.Set`），未按 RFC 7239 追加；当前 gateway 也只取第一个 IP，无实际影响，但语义不严格。
|
||||
- CSP 仍含 `'unsafe-inline'`（为兼容 forgot.html 与 games/*.html 的内联脚本），待前端清理后可收紧。
|
||||
- HSTS 已启用（半年期，不含子域），站点全量 HTTPS 覆盖后可按需收紧。
|
||||
- logclient 日志推送每次新建 TCP 短连接，高并发拦截场景可能产生较多 TIME_WAIT；db 地址硬编码 `127.0.0.1:8005`，不支持环境变量配置。
|
||||
- **默认规则全部注释**：`rules/local/custom.conf` 中自定义规则默认注释，需手动取消注释或拉取 OWASP CRS 后才有实际拦截效果。启动时无 warning 提示。**注意：CRS 规则目录不入库，需先在部署机执行 `_fetch_crs.sh`；未拉取 CRS 时 WAF 开箱无拦截能力。**
|
||||
- 缺少 SIGINT/SIGTERM 优雅关闭，进程终止时进行中的请求被暴力中断，logclient 队列中未发送的日志可能丢失。
|
||||
- 标准日志（`log.SetOutput`）被静默到 `io.Discard`，net/http 的 panic 堆栈和 TLS 错误不可见。
|
||||
|
||||
## 版本日志
|
||||
|
||||
### v1.5（2026-08-08）— P3 安全修复
|
||||
|
||||
- **fix(P3-1)**: logclient 复用 TCP 长连接，失败时重建一次，消除高并发拦截场景下的 TIME_WAIT 短连接堆积
|
||||
- **fix(P3-2)**: TLS 显式限定 CipherSuites（TLS 1.3 三套 + TLS 1.2 ECDHE 六套，全部 AEAD + 前向保密）与 CurvePreferences（X25519/P256/P384），排除弱加密套件
|
||||
- **fix(P3-3)**: CheckInput 的 query 编码改用 `url.Parse` + `Query().Encode()`，正确处理无值 key、重复 key、嵌套结构
|
||||
- 修复率从 76% 提升至 94%（P3 全部修复，仅剩 P0-3 默认规则注释为设计依赖）
|
||||
|
||||
### v1.4（2026-08-08）— P1/P2 安全修复
|
||||
|
||||
- **fix(P1-1)**: IPv6 地址解析改用 `net.SplitHostPort`，修复 `[::1]:54321` 等 IPv6 地址在 X-Forwarded-For 中带方括号导致 gateway 限流失效
|
||||
- **fix(P1-2)**: `ProcessResponseHeaders` 返回值不再被丢弃，命中规则时记录 WARNING 告警日志（响应头已发送无法拦截状态码）
|
||||
- **fix(P1-4)**: 增加 SIGINT/SIGTERM 优雅关闭，`server.Shutdown` 等待进行中请求完成（10s 宽限期），退出前 `logclient.Flush()` 刷新队列日志
|
||||
- **fix(P1-5)**: 标准日志输出到 stderr（`log.SetOutput(os.Stderr)`），保留 net/http 的 panic 堆栈与 TLS 错误，便于 journalctl 排查
|
||||
- **fix(P2-1)**: 规则文件加载前校验大小（上限 1 MiB），防止超大 `.conf` 文件导致 OOM
|
||||
- **fix(P2-2)**: logclient db 地址支持环境变量 `LOG_DB_ADDR`（默认 `127.0.0.1:8005`）
|
||||
- **fix(P2-5)**: logclient 日志失败输出到 stderr 而非 stdout
|
||||
- 修复率从 35% 提升至 76%（P1 全部修复、P2 全部修复）
|
||||
|
||||
### v1.3（2026-08-04）— 启用 OWASP CRS 异常评分制自动拦截
|
||||
|
||||
- **feat**: 启用 OWASP CRS v4.25.0 异常评分制，`SecRuleEngine On` 自动拦截评分达阈值的请求（规则 949110）
|
||||
|
||||
@@ -15,6 +15,21 @@ import (
|
||||
"github.com/micro_servers/waf/internal/logclient"
|
||||
)
|
||||
|
||||
// maxRuleFileSize 单个规则文件大小上限（1 MiB），防止超大文件导致 OOM
|
||||
const maxRuleFileSize = 1 << 20
|
||||
|
||||
// checkRuleFileSize 校验单个规则文件大小是否超限，超限返回错误。
|
||||
func checkRuleFileSize(path string) error {
|
||||
info, err := os.Stat(path)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
if info.Size() > maxRuleFileSize {
|
||||
return fmt.Errorf("规则文件过大: %s (%d bytes, 上限 %d)", path, info.Size(), maxRuleFileSize)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// Engine 持有当前生效的 WAF 实例，支持通过 Reload 热替换。
|
||||
type Engine struct {
|
||||
mu sync.RWMutex
|
||||
@@ -54,6 +69,9 @@ func (e *Engine) Reload() error {
|
||||
if _, err := os.Stat(mainFile); err != nil {
|
||||
return fmt.Errorf("主规则文件不存在: %w", err)
|
||||
}
|
||||
if err := checkRuleFileSize(mainFile); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
builder := coraza.NewWAFConfig()
|
||||
if e.cfg.ErrorCallback != nil {
|
||||
@@ -66,15 +84,24 @@ func (e *Engine) Reload() error {
|
||||
// 2. 本地规则（local/*.conf，按字母序）
|
||||
localFiles, _ := filepath.Glob(filepath.Join(e.cfg.RulesDir, "local", "*.conf"))
|
||||
for _, f := range localFiles {
|
||||
if err := checkRuleFileSize(f); err != nil {
|
||||
return err
|
||||
}
|
||||
builder = builder.WithDirectivesFromFile(f)
|
||||
}
|
||||
|
||||
// 3. OWASP CRS（可选，crs/coraza.conf + crs/rules/*.conf）
|
||||
crsEntry := filepath.Join(e.cfg.RulesDir, "crs", "coraza.conf")
|
||||
if _, err := os.Stat(crsEntry); err == nil {
|
||||
if err := checkRuleFileSize(crsEntry); err != nil {
|
||||
return err
|
||||
}
|
||||
builder = builder.WithDirectivesFromFile(crsEntry)
|
||||
crsRuleFiles, _ := filepath.Glob(filepath.Join(e.cfg.RulesDir, "crs", "rules", "*.conf"))
|
||||
for _, f := range crsRuleFiles {
|
||||
if err := checkRuleFileSize(f); err != nil {
|
||||
return err
|
||||
}
|
||||
builder = builder.WithDirectivesFromFile(f)
|
||||
}
|
||||
}
|
||||
@@ -109,28 +136,16 @@ func (e *Engine) CheckInput(input string) []int {
|
||||
uri = "/" + uri
|
||||
}
|
||||
|
||||
// 分离 path 与 query，对 query 做合法 URL 编码（空格等非法字符需转义）
|
||||
// 用 net/url 解析并重新编码 query，正确处理无值 key、重复 key、特殊字符
|
||||
// 这样 coraza ProcessURI 内部的 url.ParseRequestURI 不会失败，ARGS 才能被正确提取
|
||||
fullURI := uri
|
||||
if idx := strings.Index(uri, "?"); idx >= 0 {
|
||||
path := uri[:idx]
|
||||
rawQuery := uri[idx+1:]
|
||||
// 用 net/url 编码 query：保留 & = ，其他特殊字符转义
|
||||
var parts []string
|
||||
for _, kv := range strings.Split(rawQuery, "&") {
|
||||
eq := strings.Index(kv, "=")
|
||||
if eq < 0 {
|
||||
parts = append(parts, url.QueryEscape(kv))
|
||||
} else {
|
||||
parts = append(parts, url.QueryEscape(kv[:eq])+"="+url.QueryEscape(kv[eq+1:]))
|
||||
}
|
||||
}
|
||||
fullURI = path + "?" + strings.Join(parts, "&")
|
||||
if u, err := url.Parse(uri); err == nil && u.RawQuery != "" {
|
||||
u.RawQuery = u.Query().Encode()
|
||||
uri = u.String()
|
||||
}
|
||||
|
||||
// 照搬 coraza/http/middleware.go 的 processRequest 流程
|
||||
tx.ProcessConnection("127.0.0.1", 8080, "127.0.0.1", 12345)
|
||||
tx.ProcessURI(fullURI, "GET", "HTTP/1.1")
|
||||
tx.ProcessURI(uri, "GET", "HTTP/1.1")
|
||||
tx.AddRequestHeader("Host", "localhost")
|
||||
tx.SetServerName("localhost")
|
||||
if it := tx.ProcessRequestHeaders(); it != nil {
|
||||
@@ -154,6 +169,10 @@ func (e *Engine) ListRules() ([]Rule, error) {
|
||||
if !strings.HasSuffix(path, ".conf") {
|
||||
return nil
|
||||
}
|
||||
// 超大规则文件跳过，不中断整个列举
|
||||
if fi, err := os.Stat(path); err == nil && fi.Size() > maxRuleFileSize {
|
||||
return nil
|
||||
}
|
||||
data, err := os.ReadFile(path)
|
||||
if err != nil {
|
||||
return err
|
||||
@@ -239,6 +258,9 @@ func TestFile(file string) error {
|
||||
if _, err := os.Stat(abs); err != nil {
|
||||
return fmt.Errorf("文件不存在: %w", err)
|
||||
}
|
||||
if err := checkRuleFileSize(abs); err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
tmp, err := os.CreateTemp("", "waf-test-*.conf")
|
||||
if err != nil {
|
||||
|
||||
@@ -16,12 +16,13 @@ import (
|
||||
"fmt"
|
||||
"io"
|
||||
"net"
|
||||
"os"
|
||||
"sync"
|
||||
"time"
|
||||
)
|
||||
|
||||
const (
|
||||
dbAddr = "127.0.0.1:8005"
|
||||
defaultDBAddr = "127.0.0.1:8005"
|
||||
batchSize = 50
|
||||
flushInterval = 2 * time.Second
|
||||
socketTimeout = 5 * time.Second
|
||||
@@ -29,6 +30,15 @@ const (
|
||||
maxMsgSize = 64 * 1024 * 1024
|
||||
)
|
||||
|
||||
// dbAddr 通过环境变量 LOG_DB_ADDR 配置（默认 127.0.0.1:8005），支持非标准部署场景。
|
||||
var dbAddr = defaultDBAddr
|
||||
|
||||
func init() {
|
||||
if v := os.Getenv("LOG_DB_ADDR"); v != "" {
|
||||
dbAddr = v
|
||||
}
|
||||
}
|
||||
|
||||
// Entry 单条日志。
|
||||
type Entry struct {
|
||||
Service string `json:"service"`
|
||||
@@ -53,12 +63,14 @@ type dbV2Response struct {
|
||||
}
|
||||
|
||||
// Client 异步批量日志推送客户端。
|
||||
// send 仅在 flushLoop 单 goroutine 中调用，conn 复用无需额外加锁。
|
||||
type Client struct {
|
||||
ch chan Entry
|
||||
stop chan struct{}
|
||||
wg sync.WaitGroup
|
||||
stopped bool
|
||||
mu sync.Mutex
|
||||
conn net.Conn // 复用的 pymsg 长连接，失败时重建
|
||||
}
|
||||
|
||||
// global 全局单例。
|
||||
@@ -212,26 +224,36 @@ func (c *Client) sendOne(entry Entry, ts string) {
|
||||
return
|
||||
}
|
||||
|
||||
// pymsg 协议：4 字节 big-endian 长度 + UTF-8 载荷
|
||||
resp, err := pymsgCall(data)
|
||||
// pymsg 协议：4 字节 big-endian 长度 + UTF-8 载荷（复用长连接，失败时重连一次）
|
||||
resp, err := c.pymsgCall(data)
|
||||
if err != nil {
|
||||
return // fail-safe
|
||||
}
|
||||
|
||||
var r dbV2Response
|
||||
if json.Unmarshal(resp, &r) != nil || !r.Success {
|
||||
fmt.Printf("[logclient] INSERT failed: %s\n", r.Error)
|
||||
fmt.Fprintf(os.Stderr, "[logclient] INSERT failed: %s\n", r.Error)
|
||||
}
|
||||
}
|
||||
|
||||
// pymsgCall 发送一条 pymsg 请求并读取响应（短连接模式）。
|
||||
func pymsgCall(payload []byte) ([]byte, error) {
|
||||
conn, err := net.DialTimeout("tcp", dbAddr, socketTimeout)
|
||||
// pymsgCall 复用长连接发送一条 pymsg 请求并读取响应。
|
||||
// 首次失败时关闭旧连接重建一次，避免高并发拦截场景下大量 TIME_WAIT 短连接。
|
||||
func (c *Client) pymsgCall(payload []byte) ([]byte, error) {
|
||||
resp, err := c.doPymsg(payload)
|
||||
if err == nil {
|
||||
return resp, nil
|
||||
}
|
||||
// 旧连接可能已断开（db 重启等），关闭后重连一次
|
||||
c.closeConn()
|
||||
return c.doPymsg(payload)
|
||||
}
|
||||
|
||||
// doPymsg 在当前连接上执行一次请求-响应交互。
|
||||
func (c *Client) doPymsg(payload []byte) ([]byte, error) {
|
||||
conn, err := c.getConn()
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
defer conn.Close()
|
||||
|
||||
conn.SetDeadline(time.Now().Add(socketTimeout))
|
||||
|
||||
// 发送：4 字节长度前缀 + 载荷
|
||||
@@ -260,6 +282,27 @@ func pymsgCall(payload []byte) ([]byte, error) {
|
||||
return resp, nil
|
||||
}
|
||||
|
||||
// getConn 返回当前复用连接，不存在时建立。
|
||||
func (c *Client) getConn() (net.Conn, error) {
|
||||
if c.conn != nil {
|
||||
return c.conn, nil
|
||||
}
|
||||
conn, err := net.DialTimeout("tcp", dbAddr, socketTimeout)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
c.conn = conn
|
||||
return conn, nil
|
||||
}
|
||||
|
||||
// closeConn 关闭并置空复用连接。
|
||||
func (c *Client) closeConn() {
|
||||
if c.conn != nil {
|
||||
_ = c.conn.Close()
|
||||
c.conn = nil
|
||||
}
|
||||
}
|
||||
|
||||
func (c *Client) flush() {
|
||||
c.mu.Lock()
|
||||
if c.stopped {
|
||||
@@ -271,4 +314,5 @@ func (c *Client) flush() {
|
||||
|
||||
close(c.stop)
|
||||
c.wg.Wait()
|
||||
c.closeConn()
|
||||
}
|
||||
+22
-12
@@ -11,7 +11,6 @@ import (
|
||||
"net/http/httputil"
|
||||
"net/url"
|
||||
"strconv"
|
||||
"strings"
|
||||
"time"
|
||||
|
||||
"github.com/micro_servers/waf/internal/engine"
|
||||
@@ -41,13 +40,13 @@ func New(upstream string, waf *engine.Engine) (*Proxy, error) {
|
||||
origDirector := rp.Director
|
||||
rp.Director = func(req *http.Request) {
|
||||
origDirector(req)
|
||||
// RemoteAddr 形如 "1.2.3.4:54321"，剥离端口只保留 IP，
|
||||
// 否则 gateway RateLimiter 会把同 IP 不同端口的连接当成不同客户端
|
||||
clientIP := req.RemoteAddr
|
||||
if idx := strings.LastIndexByte(req.RemoteAddr, ':'); idx != -1 {
|
||||
clientIP = req.RemoteAddr[:idx]
|
||||
// 剥离 RemoteAddr 端口只保留 IP，否则 gateway RateLimiter 会把同 IP 不同端口的连接当成不同客户端
|
||||
// 用 net.SplitHostPort 正确处理 IPv6（如 [::1]:54321 / 2001:db8::1:54321）
|
||||
if host, _, err := net.SplitHostPort(req.RemoteAddr); err == nil {
|
||||
req.Header.Set("X-Forwarded-For", host)
|
||||
} else {
|
||||
req.Header.Set("X-Forwarded-For", req.RemoteAddr)
|
||||
}
|
||||
req.Header.Set("X-Forwarded-For", clientIP)
|
||||
req.Header.Set("X-Forwarded-Proto", "https")
|
||||
}
|
||||
// 透传错误，不暴露内部堆栈
|
||||
@@ -97,12 +96,12 @@ func (p *Proxy) ServeHTTP(w http.ResponseWriter, r *http.Request) {
|
||||
}
|
||||
}()
|
||||
|
||||
// 解析 RemoteAddr 中的 IP 与端口
|
||||
// 解析 RemoteAddr 中的 IP 与端口（用 net.SplitHostPort 正确处理 IPv6）
|
||||
client := r.RemoteAddr
|
||||
cport := 0
|
||||
if idx := strings.LastIndexByte(r.RemoteAddr, ':'); idx != -1 {
|
||||
client = r.RemoteAddr[:idx]
|
||||
cport, _ = strconv.Atoi(r.RemoteAddr[idx+1:])
|
||||
if host, port, err := net.SplitHostPort(r.RemoteAddr); err == nil {
|
||||
client = host
|
||||
cport, _ = strconv.Atoi(port)
|
||||
}
|
||||
|
||||
// 请求阶段：照搬 coraza/http/middleware.go 的 processRequest 流程
|
||||
@@ -186,12 +185,23 @@ func (p *Proxy) ServeHTTP(w http.ResponseWriter, r *http.Request) {
|
||||
}
|
||||
|
||||
// 响应阶段：把 upstream 的 header 喂给 WAF
|
||||
// 注：响应头已发送无法撤销状态码，此处仅记录命中告警，不执行拦截
|
||||
for k, vs := range rw.headers {
|
||||
for _, v := range vs {
|
||||
tx.AddResponseHeader(k, v)
|
||||
}
|
||||
}
|
||||
tx.ProcessResponseHeaders(rw.status, r.Proto)
|
||||
if it := tx.ProcessResponseHeaders(rw.status, r.Proto); it != nil {
|
||||
logclient.Warning("waf", fmt.Sprintf("response_header_hit rule_id=%d %s %s",
|
||||
it.RuleID, r.Method, r.URL.Path),
|
||||
map[string]any{
|
||||
"rule_id": it.RuleID,
|
||||
"ip": r.RemoteAddr,
|
||||
"method": r.Method,
|
||||
"path": r.URL.Path,
|
||||
"status": rw.status,
|
||||
})
|
||||
}
|
||||
}
|
||||
|
||||
// block 命中规则时统一返回 403，并将关键输入推送到日志库。
|
||||
|
||||
+51
-10
@@ -12,11 +12,11 @@
|
||||
package main
|
||||
|
||||
import (
|
||||
"context"
|
||||
"crypto/tls"
|
||||
"encoding/json"
|
||||
"flag"
|
||||
"fmt"
|
||||
"io"
|
||||
"log"
|
||||
"net/http"
|
||||
"os"
|
||||
@@ -62,8 +62,8 @@ func main() {
|
||||
}
|
||||
|
||||
eng, err := engine.New(&engine.Config{
|
||||
RulesDir: cfg.RulesDir,
|
||||
ErrorCallback: engine.LogError,
|
||||
RulesDir: cfg.RulesDir,
|
||||
ErrorCallback: engine.LogError,
|
||||
})
|
||||
if err != nil {
|
||||
log.Fatalf("引擎初始化失败: %v", err)
|
||||
@@ -86,7 +86,8 @@ func main() {
|
||||
|
||||
// 服务模式
|
||||
logclient.Init()
|
||||
log.SetOutput(io.Discard) // 静默标准 log
|
||||
// 标准日志输出到 stderr（systemd/journalctl 可捕获），保留 net/http 的 panic 堆栈与 TLS 错误
|
||||
log.SetOutput(os.Stderr)
|
||||
|
||||
p, err := proxy.New(cfg.Upstream, eng)
|
||||
if err != nil {
|
||||
@@ -96,10 +97,10 @@ func main() {
|
||||
}
|
||||
|
||||
// SIGHUP 热加载
|
||||
sigCh := make(chan os.Signal, 1)
|
||||
signal.Notify(sigCh, syscall.SIGHUP)
|
||||
hupCh := make(chan os.Signal, 1)
|
||||
signal.Notify(hupCh, syscall.SIGHUP)
|
||||
go func() {
|
||||
for range sigCh {
|
||||
for range hupCh {
|
||||
if err := eng.Reload(); err != nil {
|
||||
logclient.Error("waf", fmt.Sprintf("热加载失败，保留旧规则: %v", err), nil)
|
||||
} else {
|
||||
@@ -118,16 +119,56 @@ func main() {
|
||||
MaxHeaderBytes: 1 << 20, // 1MB
|
||||
TLSConfig: &tls.Config{
|
||||
MinVersion: tls.VersionTLS12,
|
||||
// 显式限定安全 CipherSuites，排除弱加密套件（RC4/3DES/CBC 等）
|
||||
CipherSuites: []uint16{
|
||||
// TLS 1.3 套件（Go 自动选择，显式列出便于审计）
|
||||
tls.TLS_AES_128_GCM_SHA256,
|
||||
tls.TLS_AES_256_GCM_SHA384,
|
||||
tls.TLS_CHACHA20_POLY1305_SHA256,
|
||||
// TLS 1.2 ECDHE 套件（前向保密 + AEAD）
|
||||
tls.TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,
|
||||
tls.TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,
|
||||
tls.TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305_SHA256,
|
||||
tls.TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,
|
||||
tls.TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,
|
||||
tls.TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305_SHA256,
|
||||
},
|
||||
// 优先使用高性能且安全的椭圆曲线
|
||||
CurvePreferences: []tls.CurveID{
|
||||
tls.X25519,
|
||||
tls.CurveP256,
|
||||
tls.CurveP384,
|
||||
},
|
||||
},
|
||||
}
|
||||
|
||||
// SIGINT/SIGTERM 优雅关闭：等待进行中的请求完成后再退出，并 flush 队列日志
|
||||
termCh := make(chan os.Signal, 1)
|
||||
signal.Notify(termCh, syscall.SIGINT, syscall.SIGTERM)
|
||||
|
||||
logclient.Info("waf", fmt.Sprintf("服务启动 listen=%s upstream=%s rules=%s pid=%d",
|
||||
cfg.Listen, cfg.Upstream, cfg.RulesDir, os.Getpid()), nil)
|
||||
|
||||
if err := server.ListenAndServeTLS(cfg.TLSCert, cfg.TLSKey); err != nil {
|
||||
logclient.Error("waf", fmt.Sprintf("TLS 监听失败: %v", err), nil)
|
||||
errCh := make(chan error, 1)
|
||||
go func() {
|
||||
errCh <- server.ListenAndServeTLS(cfg.TLSCert, cfg.TLSKey)
|
||||
}()
|
||||
|
||||
select {
|
||||
case err := <-errCh:
|
||||
if err != nil && err != http.ErrServerClosed {
|
||||
logclient.Error("waf", fmt.Sprintf("TLS 监听失败: %v", err), nil)
|
||||
logclient.Flush()
|
||||
os.Exit(1)
|
||||
}
|
||||
case <-termCh:
|
||||
logclient.Info("waf", "收到终止信号，开始优雅关闭", nil)
|
||||
ctx, cancel := context.WithTimeout(context.Background(), 10*time.Second)
|
||||
defer cancel()
|
||||
if err := server.Shutdown(ctx); err != nil {
|
||||
logclient.Error("waf", fmt.Sprintf("优雅关闭超时: %v", err), nil)
|
||||
}
|
||||
logclient.Flush()
|
||||
os.Exit(1)
|
||||
}
|
||||
}
|
||||
|
||||
|
||||
Reference in new issue
Block a user