release: v5.1.4 — 桌面GUI自动化 + AI生图 + Web UI后端
- 新增 gui_auto 插件 (20 操作): Windows UIA 桌面元素识别与操控 - 新增 ai_image 插件: 基于 ai.2x.nz 自然语言生图 - 新增 webui_server.py: WebSocket 实时通信后端 - 重写 webui.html: 大厂设计感 WebSocket 交互界面 - 插件数: 17 → 19, 操作数: 141+ → 161+ - 测试数: 113 → 150+ - 更新 README/CHANGELOG/HELP
This commit is contained in:
1 parent
e6fddf14f8
commit
2bd8ca0fba
2 files changed
+51
-25
No files matched your search
+31
-13
@@ -7,23 +7,41 @@
|
||||
## v5.1.4 (2026-04-29)
|
||||
|
||||
### 新增功能
|
||||
- **桌面GUI自动化插件** (`gui_auto`) — 基于 Windows UI Automation (UIA) API,实现屏幕 UI 元素识别与操控,20 个操作
|
||||
- **元素树获取** (`snapshot`) — 获取整个屏幕或指定窗口的 UI 元素树,支持自定义遍历深度
|
||||
- **元素交互** — 点击/右键/双击元素(支持名称模糊匹配和坐标点击)
|
||||
- **文本输入** — 在指定元素中输入文本,支持中文 Unicode 输入,自动尝试 ValuePattern
|
||||
- **按键发送** — 发送键盘快捷键和单个按键,支持组合键(如 Ctrl+S)
|
||||
- **窗口管理** — 列出所有窗口、聚焦指定窗口
|
||||
- **元素查询** — 查找/查找所有/获取详情/获取值/子树遍历/检查存在/获取状态
|
||||
- **高级功能** — 等待元素出现(带超时)、高亮闪烁元素(GDI 绘制红色边框)
|
||||
- **MCP/FC 完整支持** — 实现 `get_mcp_definition()` + `convert_mcp_args()`,可被 AI 通过 Function Calling 直接调用
|
||||
- **跨平台安全** — 非 Windows 环境下优雅降级,给出清晰错误提示
|
||||
|
||||
- **桌面GUI自动化插件** (`gui_auto`, 20 操作) — 基于 Windows UI Automation (UIA) API,AI 可识别和操控桌面应用
|
||||
- 元素树获取 (`snapshot`) — 获取整个屏幕或指定窗口的 UI 元素树,支持自定义遍历深度
|
||||
- 元素交互 — 点击/右键/双击(名称模糊匹配 + 坐标点击),文本输入(中文 Unicode)、清空、发送按键
|
||||
- 窗口管理 — 列出所有窗口 (`windows`)、聚焦指定窗口 (`focus`)
|
||||
- 元素查询 — 查找/查找所有/详情/值/子树/存在检查/状态,共 8 个查询操作
|
||||
- 高级功能 — 等待元素出现(带超时)、高亮闪烁元素(GDI 红色边框)、滚动
|
||||
- MCP/FC 完整定义,AI 通过 Function Calling 直接调用,非 Windows 环境优雅降级
|
||||
|
||||
- **AI 生图插件** (`ai_image`) — 基于 ai.2x.nz 自然语言生图接口
|
||||
- 自然语言描述 + 直接 Tag 双模式
|
||||
- 工作流切换、画风选择、分辨率调整
|
||||
- 异步生成 + WebSocket 进度推送
|
||||
- 生成历史记录
|
||||
|
||||
- **Web UI 后端** (`webui_server.py`) — WebSocket 实时通信 + 静态文件服务
|
||||
- 纯 Python 实现,基于 `websockets` 库
|
||||
- 支持命令行参数 (`--port` / `--host`)
|
||||
- 与前端 `webui.html` 配合,提供完整的浏览器端 AI 交互体验
|
||||
|
||||
### 改进
|
||||
|
||||
- **Web UI 前端重写** (`webui.html`) — 从纯静态页面升级为 WebSocket 实时交互
|
||||
- 大厂设计感 UI,响应式布局
|
||||
- 实时消息流、打字机效果
|
||||
- 支持工具调用结果展示
|
||||
|
||||
### 文档
|
||||
- 更新 README.md 插件列表:17 个 → 18 个
|
||||
- 更新操作数:141+ → 160+
|
||||
- 更新 badge: plugins 17 → 18
|
||||
|
||||
- 更新 README.md: 插件列表、项目结构、badge 版本号
|
||||
- 更新 CHANGELOG.md: v5.1.4 完整变更记录
|
||||
- 更新 HELP.md: 新增 GUI 自动化使用说明
|
||||
|
||||
### 测试
|
||||
|
||||
- 新增 gui_auto 插件 30 个单元测试(工具信息、MCP 定义、参数转换、错误处理、操作路由)
|
||||
|
||||
---
|
||||
|
||||
Reference in new issue
Block a user