update

2026-07-30 21:57:04 +08:00
1 parent f935448389
commit 3f97dd92ef
@@ -0,0 +1,18 @@
+.env
+.env/
+__pycache__/
+*.pyc
+*.pyo
+*.pyd
+.Python
+*.so
+.git
+.gitignore
+*.md
+!README.md
+.envrc
+.venv/
+venv/
+ENV/
+*.bin
+.DS_Store
@@ -0,0 +1,48 @@
+FROM python:3.11-slim
+
+LABEL maintainer="qingsong"
+LABEL service="dnfs"
+LABEL description="Dendrachy Network File-System - 树状网络文件系统"
+
+# 设置工作目录
+WORKDIR /app
+
+# 设置环境变量
+ENV PYTHONDONTWRITEBYTECODE=1 \
+    PYTHONUNBUFFERED=1 \
+    PIP_NO_CACHE_DIR=1 \
+    PIP_DISABLE_PIP_VERSION_CHECK=1
+
+# 安装系统依赖（如果有需要）
+RUN apt-get update && apt-get install -y --no-install-recommends \
+    && rm -rf /var/lib/apt/lists/*
+
+# 先复制pymsg共享库并安装
+COPY pymsg/ /app/pymsg/
+RUN pip install /app/pymsg/
+
+# 复制requirements并安装依赖
+COPY dnfs/requirements.txt /app/
+RUN pip install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
+
+# 移除flask_sqlalchemy遗留依赖（已不使用）
+RUN pip uninstall -y flask_sqlalchemy 2>/dev/null || true
+
+# 复制应用代码
+COPY dnfs/ /app/dnfs/
+
+# 创建非root用户运行（安全最佳实践）
+RUN useradd -m -u 1000 appuser && chown -R appuser:appuser /app
+USER appuser
+
+WORKDIR /app/dnfs
+
+# 暴露端口
+EXPOSE 8006
+
+# 健康检查
+HEALTHCHECK --interval=30s --timeout=5s --start-period=10s --retries=3 \
+    CMD python -c "import urllib.request; urllib.request.urlopen('http://localhost:8006/get_notes', data=b'{\"pid\":0}', timeout=3)" || exit 1
+
+# 启动服务
+CMD ["python", "dnfs.py"]
@@ -32,30 +32,36 @@ from log_client import logs
 # pymsg 导入
 import sys as _sys
 _sys.path.insert(0, os.path.join(os.path.dirname(__file__), ".."))
-from pymsg import MsgClient  # noqa: E402
+from pymsg import RpcClient, RpcError  # noqa: E402

-_DBV2_ADDR = '127.0.0.1'
-_DBV2_PORT = 8005
+_DBV2_ADDR = os.environ.get('DB_HOST', '127.0.0.1')
+_DBV2_PORT = int(os.environ.get('DB_PORT', '8005'))

 # 管理员判定已上移至 gateway：登录时命中 [Admin] users 白名单即在 Token payload
 # 写入 is_admin=true，本服务通过 info.get('is_admin') 读取，不再本地维护名单。
 # 旧 Token 无此字段，按非管理员处理（安全方向）。

+_rpc = RpcClient(_DBV2_ADDR, _DBV2_PORT, "dnfs")
+
+
 def _call_dbv2(payload: dict, timeout: int = 10) -> dict:
-    """通过 pymsg 短连接调用 dbv2 数据库服务。
-    自动注入 ``_route: "execute"``。
+    """通过 pymsg RPC 调用 dbv2 数据库服务（自动注入 ``_route: "execute"``）。
+
+    返回完整响应 dict（``{"success": ..., "data"/"error": ...}``），
+    与历史行为一致，调用方无需改动。服务端业务错误返回 success=False；
+    网络层故障抛 ConnectionError。
    """
-    payload = {**payload, "_route": "execute"}
    try:
-        client = MsgClient(_DBV2_ADDR, _DBV2_PORT, "dnfs")
-        resp_text = client.call(json.dumps(payload), timeout=timeout)
-        return json.loads(resp_text)
+        data = _rpc.call("execute", payload, timeout=timeout)
+        return {"success": True, "data": data}
+    except RpcError as e:
+        return {"success": False, "error": str(e)}
    except Exception as e:
        raise ConnectionError(
            f"dbv2 调用失败 ({_DBV2_ADDR}:{_DBV2_PORT}): {e}"
        ) from None

-REVIEW_SERVER_URL = 'http://127.0.0.1:8007/review'
+REVIEW_SERVER_URL = os.environ.get('REVIEW_URL', 'http://127.0.0.1:8007/review')
 def review_content(content: str, timeout: int = 10) -> Dict[str, Any]:
    """
    调用 AI 内容审核服务的 /review 接口，对给定文本进行审核。
@@ -545,10 +551,9 @@ def get_note():
 #    """返回应用主页"""
 #    return render_template('index.html')

-ADDR='127.0.0.1'
-PORT=8006
+ADDR = os.environ.get('LISTEN_ADDR', '0.0.0.0')
+PORT = int(os.environ.get('LISTEN_PORT', '8006'))
 if __name__ == "__main__":
    logs.info('dnfs', f'服务启动，监听 http://{ADDR}:{PORT}')
    print(f'Listen at http://{ADDR}:{PORT}')
-    #app.run(host="127.0.0.1", port=8006)
-    serve(app, host='127.0.0.1', port=8006)
+    serve(app, host=ADDR, port=PORT)
@@ -1,8 +1,7 @@
-"""
-统一日志客户端 — 各服务共用。
+"""统一日志客户端 — 各服务共用（dnfs / smtp / static 三份副本内容一致，改动请同步）。

 设计要点：
-  - 通过 pymsg TCP 调用 dbv2 execute 路由，逐条 INSERT 到 Logs 表
+  - 通过 pymsg RPC 调用 dbv2 execute 路由，逐条 INSERT 到 Logs 表
  - 异步非阻塞：内存队列 + 后台线程批量推送，不拖慢业务
  - fail-safe：db 服务不可用时静默丢弃，绝不影响业务
  - 缓冲批量：队列满 50 条或超时 2 秒时自动 flush
@@ -26,12 +25,12 @@ import atexit
 from datetime import datetime, timezone

 _sys.path.insert(0, _os.path.join(_os.path.dirname(__file__), ".."))
-from pymsg import MsgClient  # noqa: E402
+from pymsg import RpcClient, RpcError  # noqa: E402

 # ── 配置 ──────────────────────────────────────────────────────────────

-_DBV2_ADDR = '127.0.0.1'
-_DBV2_PORT = 8005
+_DBV2_ADDR = _os.environ.get('DB_HOST', '127.0.0.1')
+_DBV2_PORT = int(_os.environ.get('DB_PORT', '8005'))

 _BATCH_SIZE = 50         # 队列满 50 条时 flush
 _FLUSH_INTERVAL = 2.0    # 超时 2 秒强制 flush
@@ -41,8 +40,10 @@ _TIMEOUT = 5             # socket 超时（秒）
 class LogClient:
    """异步批量日志推送客户端。"""

-    def __init__(self, batch_size=_BATCH_SIZE,
+    def __init__(self, service_name="log",
+                 batch_size=_BATCH_SIZE,
                 flush_interval=_FLUSH_INTERVAL):
+        self._service_name = service_name
        self._batch_size = batch_size
        self._flush_interval = flush_interval
        self._queue = queue.Queue()
@@ -133,35 +134,33 @@ class LogClient:
            self._send(batch)

    def _send(self, batch):
-        """通过 pymsg 使用 execute 路由逐条 INSERT 到 dbv2 Logs 表。"""
+        """通过 pymsg RPC（execute 路由）逐条 INSERT 到 dbv2 Logs 表。"""
        now = datetime.now(timezone.utc).isoformat()
-        try:
-            client = MsgClient(_DBV2_ADDR, _DBV2_PORT, "dnfs-log")
-            for entry in batch:
-                extra_val = entry.get("extra")
-                payload = {
-                    "_route": "execute",
-                    "action": "insert",
-                    "table": "Logs",
-                    "values": {
-                        "ts": now,
-                        "service": entry.get("service"),
-                        "level": entry.get("level"),
-                        "message": entry.get("message"),
-                        "trace_id": entry.get("trace_id"),
-                        "extra": json.dumps(extra_val, ensure_ascii=False)
-                        if extra_val is not None else None,
-                    },
-                }
-                resp = client.call(json.dumps(payload), timeout=_TIMEOUT)
-                resp_obj = json.loads(resp)
-                if not resp_obj.get("success"):
-                    import sys
-                    print(f"[log_client] INSERT 失败: {resp_obj.get('error')}",
-                          file=sys.stderr)
-        except Exception as e:
-            import sys
-            print(f"[log_client] 发送失败: {e}", file=sys.stderr)
+        client = RpcClient(_DBV2_ADDR, _DBV2_PORT, self._service_name + "-log")
+        for entry in batch:
+            extra_val = entry.get("extra")
+            payload = {
+                "action": "insert",
+                "table": "Logs",
+                "values": {
+                    "ts": now,
+                    "service": entry.get("service"),
+                    "level": entry.get("level"),
+                    "message": entry.get("message"),
+                    "trace_id": entry.get("trace_id"),
+                    "extra": json.dumps(extra_val, ensure_ascii=False)
+                    if extra_val is not None else None,
+                },
+            }
+            try:
+                client.call("execute", payload, timeout=_TIMEOUT)
+            except RpcError as e:
+                # 业务错误（如表结构不符）：打印后继续下一条
+                print(f"[log_client] INSERT 失败: {e}", file=_sys.stderr)
+            except Exception as e:
+                # 网络错误：db 不可用，放弃本批剩余（fail-safe）
+                print(f"[log_client] 发送失败: {e}", file=_sys.stderr)
+                break

    def _shutdown(self):
        """进程退出时 flush 剩余日志。"""