refactor(gateway): remove local ini fallback, configs only via confs
Follow the same convention as the static module: remove local config.ini fallback and --config/-i command-line argument entirely. All configuration is now managed exclusively through confs service. - Delete gateway/example.ini (moved to confs/configs/gateway.ini). - Remove -i/--input option from boost::program_options; help (-h) and version (-v) are the only CLI flags remaining. - Simplify main.cpp config loading: remove local-file branch, always fetch gateway.ini from confs with retry_on_refused=true waiting for confs ready. - Update _run.sh: no longer passes any arguments; config comes from confs. - Update README: remove example.ini references, -i flag docs, local file mode description, and example.ini from directory structure tree. - Clarify changelog entry for v0.7.0.
This commit is contained in:
qing committed
1 parent
9ccb9cbdca
commit
b935fefb82
4 files changed
+35
-87
No files matched your search
+10
-10
@@ -189,12 +189,11 @@ gateway 不直连数据库（早期直连本地 sqlite 的代码已注释保留
|
||||
|
||||
gateway 配置采用**两层加载模式**，与其他 Python 服务（dnfs/db/static）保持一致：
|
||||
|
||||
1. **confs 统一配置服务**（默认模式）：启动时从 confs（`127.0.0.1:8010`，可通过 `CONFS_HOST`/`CONFS_PORT` 环境变量覆盖）通过 pymsg `get` 路由拉取 `gateway.ini`，`retry_on_refused=true` 阻塞等待 confs 就绪。
|
||||
2. **本地文件覆盖**（开发/调试模式）：启动时传 `-i <path>` 则跳过 confs，直接读取本地 ini 文件。
|
||||
3. **环境变量覆盖**（最高优先级，Docker 兼容）：`LISTEN_ADDR`/`LISTEN_PORT`、`DB_HOST`/`DB_PORT`、`CAPTCHA_HOST`/`CAPTCHA_PORT`、`SMTP_HOST`/`SMTP_PORT` 覆盖 ini 中对应值。
|
||||
4. **完整性校验**：必需配置项缺失则启动失败。
|
||||
1. **confs 统一配置服务**：启动时从 confs（`127.0.0.1:8010`，可通过 `CONFS_HOST`/`CONFS_PORT` 环境变量覆盖）通过 pymsg `get` 路由拉取 `gateway.ini`，`retry_on_refused=true` 阻塞等待 confs 就绪。
|
||||
2. **环境变量覆盖**（最高优先级，Docker 兼容）：`LISTEN_ADDR`/`LISTEN_PORT`、`DB_HOST`/`DB_PORT`、`CAPTCHA_HOST`/`CAPTCHA_PORT`、`SMTP_HOST`/`SMTP_PORT` 覆盖 ini 中对应值。
|
||||
3. **完整性校验**：必需配置项缺失则启动失败。
|
||||
|
||||
配置文件存放于 [confs/configs/gateway.ini](../confs/configs/gateway.ini)（[example.ini](example.ini) 为本地开发参考副本，内容一致，新增 `[Downstream]` 段）。
|
||||
配置文件统一存放于 [confs/configs/gateway.ini](../confs/configs/gateway.ini)，gateway 目录下不再保留本地配置文件。
|
||||
|
||||
配置项说明：
|
||||
- `Server.address`/`port`/`tls`：监听地址、端口、TLS 开关；`address`/`port` 可被 `LISTEN_ADDR`/`LISTEN_PORT` 环境变量覆盖。
|
||||
@@ -249,17 +248,17 @@ tls = on
|
||||
|
||||
```bash
|
||||
bash _set.sh # make clean && make
|
||||
bash _run.sh # 默认从 confs 拉取配置；开发模式可用 _run.sh -i example.ini
|
||||
bash _run.sh # 从 confs 拉取配置启动
|
||||
```
|
||||
|
||||
默认无需传参（从 confs 拉取配置）；`-i <ini>` 为本地文件模式（开发/调试用）。其他参数：`-h/--help`、`-v/--version`。
|
||||
无需传参，配置统一由 confs 管理。命令行参数：`-h/--help`、`-v/--version`。
|
||||
|
||||
## 目录结构
|
||||
|
||||
```
|
||||
gateway/
|
||||
├── src/
|
||||
│ └── main.cpp # 全部实现：配置加载（confs/本地文件/环境变量）、PBKDF2、RateLimiter、路由/handler
|
||||
│ └── main.cpp # 全部实现：配置加载（confs → 环境变量覆盖）、PBKDF2、RateLimiter、路由/handler
|
||||
├── inc/
|
||||
│ ├── Msg.hpp # pymsg C++ 实现：长度前缀帧协议、MsgClient（含 retry_on_refused）、MsgException 族
|
||||
│ ├── DbC.hpp # db 服务客户端：通过 pymsg 调 dbv2（地址可配置，retry_on_refused=true）
|
||||
@@ -267,12 +266,13 @@ gateway/
|
||||
│ ├── Conf.hpp # ConfIni：boost::property_tree ini 解析，支持 fromString/env/env_int
|
||||
│ ├── ExpBase.hpp # 异常基类（带 source_location）
|
||||
│ └── LocalTime.hpp # 本地时间工具（getCurrent / parse）
|
||||
├── example.ini # 本地开发配置参考副本（与 confs/configs/gateway.ini 一致）
|
||||
├── Makefile
|
||||
├── _set.sh / _run.sh
|
||||
└── README.md
|
||||
```
|
||||
|
||||
配置文件统一在 [confs/configs/gateway.ini](../confs/configs/gateway.ini)，gateway 目录无本地配置文件。
|
||||
|
||||
## 版本
|
||||
|
||||
`0.7.0`（见 [src/main.cpp:31](src/main.cpp#L31)）。启动时打印：
|
||||
@@ -283,7 +283,7 @@ Gateway 0.7.0 started
|
||||
|
||||
近期变更：
|
||||
|
||||
- `0.7.0`：配置体系迁移到 confs 统一配置服务——新增 `confs/configs/gateway.ini`（原 example.ini 内容 + `[Downstream]` 段配置下游服务地址）；启动时默认从 confs（`CONFS_HOST`/`CONFS_PORT`，默认 `127.0.0.1:8010`）通过 pymsg `get` 路由拉取配置（`retry_on_refused=true`），`-i <path>` 保留为本地文件开发模式；`ConfIni` 增加 `fromString()`（从 ini 文本解析）、`env()`/`env_int()`（环境变量读取）、公开默认构造函数；环境变量覆盖支持 `LISTEN_ADDR`/`LISTEN_PORT`/`DB_HOST`/`DB_PORT`/`CAPTCHA_HOST`/`CAPTCHA_PORT`/`SMTP_HOST`/`SMTP_PORT`；配置完整性校验（`Server.address`/`port`、`Proxy.default`、`Downstream.db_host`/`db_port` 缺失则启动失败）；`DbC` 增加 `init(host, port)` 支持可配置 db 地址（默认 127.0.0.1:8005），main.cpp 中所有硬编码 captcha/smtp 地址改为配置变量，`logs().set_endpoint()` 在启动时初始化；`_run.sh` 默认不传 `-i`，`--version/-v` 选项补全实现。
|
||||
- `0.7.0`：配置体系完全迁移到 confs 统一配置服务——配置文件统一存放于 `confs/configs/gateway.ini`（原 example.ini 内容 + `[Downstream]` 段），删除本地 example.ini，移除 `-i/--input` 命令行参数（不再支持本地 ini 文件回退，与 static 模块一致）；启动时从 confs（`CONFS_HOST`/`CONFS_PORT`，默认 `127.0.0.1:8010`）通过 pymsg `get` 路由拉取配置（`retry_on_refused=true`）；`ConfIni` 增加 `fromString()`/`env()`/`env_int()`；环境变量覆盖支持 `LISTEN_ADDR`/`LISTEN_PORT`/`DB_HOST`/`DB_PORT`/`CAPTCHA_HOST`/`CAPTCHA_PORT`/`SMTP_HOST`/`SMTP_PORT`；配置完整性校验；`DbC` 增加 `init(host, port)`，main.cpp 所有硬编码 captcha/smtp/db 地址改为配置变量，`logs().set_endpoint()` 启动时初始化；`--version/-v` 选项补全实现；版本升至 0.7.0。
|
||||
- `0.6.1`：pymsg 客户端增加 `retry_on_refused` 重试机制——新增 `MsgConnectionRefusedException`；`MsgClient::call()` 新增 `retry_on_refused`/`retry_interval` 参数；`DbC::call_msg()` 启用重试等待 db 就绪；`LogC::_send()` 显式不重试（fail-safe）。
|
||||
- `0.6.0`：WebSocket 反向代理（仅管理员）——新增 `[WsProxy]` 配置段，支持 `routes = /path=ws://host:port/target;...` 精确路径映射；握手阶段校验 Token 中 `is_admin=true`（基于 `Admin.users` 白名单），通过后双向透明桥接文本/二进制帧到后端，支持 `ws://` 和 `wss://`；后端连接错误/鉴权失败均优雅关闭。依赖 libhttp v3.1+ 的 `ws_proxy()` 接口。顺带修复 `LocalTime.hpp` 在 Apple clang 下 C++20 tzdb 不可用的编译问题（改用 `strftime`/`get_time`/`mktime`）。
|
||||
- `0.5.4`：修复邮件轰炸漏洞（审计报告 P0-1）——`/register/send_code` 强制 CAPTCHA 校验（经 captcha:8009，Token 一次性消费），新增邮箱级双窗口限流（3 次/小时 + 10 次/天）；smtp 层同步增加邮箱级长期限流兜底 + 全局熔断（`SMTP_HOURLY_LIMIT` 环境变量，默认 100 封/小时）；前端 `register.html`/`register.js` 同步接入图形验证码（复用 `/captcha/image` 代理路由，方案 A：仅在「获取验证码」时要求 CAPTCHA，注册提交不加）。
|
||||
|
||||
+2
-2
@@ -1,7 +1,7 @@
|
||||
#!/bin/bash
|
||||
# gateway 启动脚本
|
||||
# 默认从 confs 统一配置服务拉取配置（confs 需已启动）。
|
||||
# 若需使用本地 ini 文件（开发/调试），传入 -i <path>，例如：./_run.sh -i example.ini
|
||||
# 配置统一由 confs 服务管理（confs/configs/gateway.ini），
|
||||
# 启动时从 confs（CONFS_HOST:CONFS_PORT，默认 127.0.0.1:8010）拉取配置。
|
||||
cd "$(dirname "$0")" || exit
|
||||
|
||||
# 等待依赖服务启动（confs/db）
|
||||
|
||||
@@ -1,43 +0,0 @@
|
||||
[Server]
|
||||
# 当 WAF 在前面终止 TLS 时，gateway 退化为内部 HTTP 服务：
|
||||
# - tls = off 启用 HTTP 模式（配合 waf 模块使用）
|
||||
# - tls = on 启用 HTTPS 模式（独立部署，证书为 full_chain.crt / server.key）
|
||||
address = 127.0.0.1
|
||||
port = 8443
|
||||
tls = off
|
||||
|
||||
[Proxy]
|
||||
default = http://127.0.0.1:9200
|
||||
closed = http://127.0.0.1:8005;http://127.0.0.1:8007;
|
||||
opened = http://127.0.0.1:9200;http://127.0.0.1:8006;
|
||||
|
||||
[Token]
|
||||
# Token 有效期（秒），默认 3600 = 1 小时
|
||||
keep_time = 3600
|
||||
# Token 刷新宽限期倍数：过期后 iat + keep_time * 倍数 窗口内仍可刷新，默认 2
|
||||
refresh_grace_multiplier = 2
|
||||
# Token 生命周期内最大刷新次数，超过后需重新登录，默认 10
|
||||
max_refresh = 10
|
||||
|
||||
[Admin]
|
||||
# 管理员账号白名单（分号分隔）。登录时命中即在 Token payload 写入 is_admin=true，
|
||||
# 下游服务（dnfs 等）凭该字段豁免所有权校验，无需各自维护名单。
|
||||
# 修改后需重启 gateway 生效；旧 Token 无此字段，按非管理员处理。
|
||||
users = qing@qsont.me;shufeng@qsont.me
|
||||
|
||||
[CORS]
|
||||
# 允许跨域的 Origin 白名单（分号分隔）
|
||||
# 仅命中的 Origin 才会回填 Access-Control-Allow-Origin；缺省为空（不回填）
|
||||
allowed_origins = https://qsont.me;https://www.qsont.me;http://127.0.0.1:8443;http://localhost:8443
|
||||
|
||||
[Database]
|
||||
path = sqlite3.db
|
||||
|
||||
[WsProxy]
|
||||
# WebSocket 反向代理路由（仅管理员可访问）
|
||||
# 格式：routes = /path=ws://host:port/target;/path2=ws://host2:port2/target2
|
||||
# 握手阶段会校验 HTTP Upgrade 请求中的 Token（Authorization: Bearer xxx 或 Cookie: q4_token=xxx），
|
||||
# 仅 Token 中 is_admin=true 的用户才能升级连接；非管理员或无 Token 直接拒绝。
|
||||
# 支持 ws:// 和 wss:// 后端
|
||||
# 示例：routes = /ws/aibox=ws://127.0.0.1:8765;/ws/other=wss://example.com/ws
|
||||
routes = /ws/aibox=ws://127.0.0.1:8765;
|
||||
+23
-32
@@ -486,7 +486,6 @@ int main(int argc, char **argv) {
|
||||
desc.add_options()
|
||||
("help,h", "output help message")
|
||||
("version,v", "output version message")
|
||||
("input,i", po::value<std::string>(), "(可选) 指定本地 ini 配置文件路径，跳过 confs 拉取（开发/调试用）")
|
||||
;
|
||||
|
||||
|
||||
@@ -522,50 +521,42 @@ int main(int argc, char **argv) {
|
||||
* 与 Python 服务（dnfs/db/static）保持一致的加载模式：
|
||||
* 1. 引导配置：confs 地址从 CONFS_HOST/CONFS_PORT 环境变量读取，缺省 127.0.0.1:8010
|
||||
* 2. 从 confs 拉取 gateway.ini 全文（retry_on_refused=true 等待 confs 就绪）
|
||||
* - 若指定了 -i 参数，则跳过 confs，直接读取本地 ini 文件（开发/调试模式）
|
||||
* 3. 用 boost::property_tree 解析 ini
|
||||
* 4. 环境变量覆盖（最高优先级，Docker 环境需要服务名而非 127.0.0.1）
|
||||
* 5. 配置完整性校验：必需字段缺失则启动失败
|
||||
* 不再支持本地 ini 文件回退（与 static 模块一致，配置统一由 confs 管理）。
|
||||
* ==================================================================================== */
|
||||
|
||||
{
|
||||
ConfIni cf; // 默认空构造，后续根据模式赋值
|
||||
|
||||
/* 1. 引导配置：confs 连接地址（不依赖 confs 本身，避免循环依赖） */
|
||||
_CONFS_HOST = ConfIni::env("CONFS_HOST", "127.0.0.1");
|
||||
_CONFS_PORT = ConfIni::env_int("CONFS_PORT", 8010);
|
||||
|
||||
ConfIni cf;
|
||||
try {
|
||||
if (vm.count("input")) {
|
||||
/* 开发模式：-i 指定本地文件，跳过 confs */
|
||||
std::string ini_path = vm["input"].as<std::string>();
|
||||
cf = ConfIni(ini_path);
|
||||
std::cout << "[gateway] 配置来源: 本地文件 " << ini_path << std::endl;
|
||||
} else {
|
||||
/* 生产模式：从 confs 拉取 gateway.ini */
|
||||
std::cout << "[gateway] 从 confs (" << _CONFS_HOST << ":" << _CONFS_PORT
|
||||
<< ") 拉取 gateway.ini ..." << std::endl;
|
||||
pmc::net::MsgClient confs_client(_CONFS_HOST, _CONFS_PORT, "gateway");
|
||||
json::object req;
|
||||
req["_route"] = "get";
|
||||
req["name"] = "gateway.ini";
|
||||
std::string resp_str = confs_client.call(
|
||||
json::serialize(req), /*timeout=*/5.0,
|
||||
/*retry_on_refused=*/true);
|
||||
auto resp = json::parse(resp_str).as_object();
|
||||
if (!resp.at("success").as_bool()) {
|
||||
std::string err = "unknown";
|
||||
if (auto* ev = resp.if_contains("error")) {
|
||||
if (ev->is_string()) err = ev->as_string().c_str();
|
||||
}
|
||||
std::cerr << "[gateway] 致命错误: 从 confs 获取 gateway.ini 失败: " << err << std::endl;
|
||||
return 1;
|
||||
/* 从 confs 拉取 gateway.ini */
|
||||
std::cout << "[gateway] 从 confs (" << _CONFS_HOST << ":" << _CONFS_PORT
|
||||
<< ") 拉取 gateway.ini ..." << std::endl;
|
||||
pmc::net::MsgClient confs_client(_CONFS_HOST, _CONFS_PORT, "gateway");
|
||||
json::object req;
|
||||
req["_route"] = "get";
|
||||
req["name"] = "gateway.ini";
|
||||
std::string resp_str = confs_client.call(
|
||||
json::serialize(req), /*timeout=*/5.0,
|
||||
/*retry_on_refused=*/true);
|
||||
auto resp = json::parse(resp_str).as_object();
|
||||
if (!resp.at("success").as_bool()) {
|
||||
std::string err = "unknown";
|
||||
if (auto* ev = resp.if_contains("error")) {
|
||||
if (ev->is_string()) err = ev->as_string().c_str();
|
||||
}
|
||||
std::string ini_content = resp.at("data").as_object().at("content").as_string().c_str();
|
||||
cf = ConfIni::fromString(ini_content);
|
||||
std::cout << "[gateway] 配置来源: confs (gateway.ini @ "
|
||||
<< _CONFS_HOST << ":" << _CONFS_PORT << ")" << std::endl;
|
||||
std::cerr << "[gateway] 致命错误: 从 confs 获取 gateway.ini 失败: " << err << std::endl;
|
||||
return 1;
|
||||
}
|
||||
std::string ini_content = resp.at("data").as_object().at("content").as_string().c_str();
|
||||
cf = ConfIni::fromString(ini_content);
|
||||
std::cout << "[gateway] 配置来源: confs (gateway.ini @ "
|
||||
<< _CONFS_HOST << ":" << _CONFS_PORT << ")" << std::endl;
|
||||
}
|
||||
catch (ConfIni::IniConfigureFileParseException &e) {
|
||||
std::cerr << "ERROR: " << e.what() << std::endl;
|
||||
|
||||
Reference in new issue
Block a user