feat: 新增桌面GUI自动化插件 (gui_auto) - Windows UIA 元素识别与操控
- 新增 gui_auto 插件 (20 操作): 元素树获取、点击/输入/按键、窗口管理、元素查询、高亮闪烁 - 基于 Windows UI Automation API,支持模糊匹配、中文输入、ValuePattern 自动识别 - 完整 MCP/FC 定义,AI 可通过 Function Calling 直接调用 - 非 Windows 环境优雅降级 - 新增 30 个单元测试 - 更新 README/CHANGELOG/HELP - 插件数: 17 → 18, 操作数: 141+ → 160+
This commit is contained in:
1 parent
a00396b4fd
commit
e6fddf14f8
5 files changed
+1229
-6
No files matched your search
@@ -4,6 +4,30 @@
|
||||
|
||||
---
|
||||
|
||||
## v5.1.4 (2026-04-29)
|
||||
|
||||
### 新增功能
|
||||
- **桌面GUI自动化插件** (`gui_auto`) — 基于 Windows UI Automation (UIA) API,实现屏幕 UI 元素识别与操控,20 个操作
|
||||
- **元素树获取** (`snapshot`) — 获取整个屏幕或指定窗口的 UI 元素树,支持自定义遍历深度
|
||||
- **元素交互** — 点击/右键/双击元素(支持名称模糊匹配和坐标点击)
|
||||
- **文本输入** — 在指定元素中输入文本,支持中文 Unicode 输入,自动尝试 ValuePattern
|
||||
- **按键发送** — 发送键盘快捷键和单个按键,支持组合键(如 Ctrl+S)
|
||||
- **窗口管理** — 列出所有窗口、聚焦指定窗口
|
||||
- **元素查询** — 查找/查找所有/获取详情/获取值/子树遍历/检查存在/获取状态
|
||||
- **高级功能** — 等待元素出现(带超时)、高亮闪烁元素(GDI 绘制红色边框)
|
||||
- **MCP/FC 完整支持** — 实现 `get_mcp_definition()` + `convert_mcp_args()`,可被 AI 通过 Function Calling 直接调用
|
||||
- **跨平台安全** — 非 Windows 环境下优雅降级,给出清晰错误提示
|
||||
|
||||
### 文档
|
||||
- 更新 README.md 插件列表:17 个 → 18 个
|
||||
- 更新操作数:141+ → 160+
|
||||
- 更新 badge: plugins 17 → 18
|
||||
|
||||
### 测试
|
||||
- 新增 gui_auto 插件 30 个单元测试(工具信息、MCP 定义、参数转换、错误处理、操作路由)
|
||||
|
||||
---
|
||||
|
||||
## v5.1.3 (2026-04-28)
|
||||
|
||||
### 新增功能
|
||||
|
||||
Reference in new issue
Block a user