github.devotd.
新发现AI 智能体

zai-org/open-autoglm — 自然语言手机操控智能体

zai-org/open-autoglm 是一个基于 AutoGLM 的框架,由视觉语言模型理解屏幕,并按照自然语言指令操控手机。

仓库信息zai-org/open-autoglm ↗

An Open Phone Agent Model & Framework. Unlocking the AI Phone for Everyone

星标
★ 26.4K
复刻
4.1K
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

zai-org/open-autoglm 是一个基于 AutoGLM 的自然语言手机操控智能体框架。已公开的信息中没有最新发布版本。视觉语言模型能够理解手机屏幕,并按照自然语言指令操作设备。它通过 ADB 和 HDC 控制 Android 与 HarmonyOS 设备,并提供命令行和 Python API。仓库说明将其介绍为公开用于手机操控的模型与框架的项目。

该项目聚焦于构建和使用面向手机的智能体,依据屏幕内容推进任务。ADB 用于控制 Android 设备,HDC 用于控制 HarmonyOS 设备。连接不仅支持 USB,也支持 Wi-Fi 和网络远程调试。在敏感操作中会请求确认;在需要登录或验证码的情况下,可由人接手处理。面向 iPhone 用户的内容是 iOS 设置说明。主要语言为 Python,许可证为 Apache-2.0。

但公开的摘要没有给出任务成功率或处理速度等性能数据,因此判断实际操作稳定性的依据有限。对于 iPhone,也只确认了设置说明,而非设备控制支持。因此可确认的范围限于 Android 与 HarmonyOS 的控制功能以及需要人介入的流程;性能和 iOS 的操作范围不能视为已获单独证实。