github.devotd.
新发现AI 智能体

onehumanbeing/esp32-iphone-agent — 无需电脑操控真实 iPhone

一个硬件项目,用 ESP32-S3 开发板和 iPhone 让视觉模型操控真实设备。

仓库信息onehumanbeing/esp32-iphone-agent ↗

Let an AI model use a real iPhone with a $7 ESP32: AirPlay eyes, USB HID hands, any OpenAI-compatible vision model. No Mac, no developer account, no jailbreak.

星标
★ 3.1K
复刻
405
语言
C
许可证
MIT
最新版本
v0.1.0
查看原始来源 ↗在 GitHub 查看 ↗

onehumanbeing/esp32-iphone-agent 是一个项目,用 7 美元的 ESP32-S3 开发板和 iPhone 让视觉模型操控真实设备。当前 README 描述的方案无需电脑,开发板充当 AirPlay 接收端和 USB HID 输入设备,代理则运行在同一台 iPhone 的应用中。仓库最新版本标注为 v0.1.0,但该标签和 legacy 分支中仍保留着需要电脑的旧版本。

开发板并不自行解码通过 AirPlay 接收的 H.264 画面流,而是经由 BLE 转发给手机应用。应用解析画面,将屏幕发送给兼容 OpenAI 的视觉模型,开发板则通过 USB 鼠标和键盘输入移动 AssistiveTouch 指针。借助这些,应用可以完成点按、滑动、绘制、打字和按键输入。硬件基准为 XIAO ESP32S3,项目说明称无需专用电脑、开发者账号或越狱。这是一个 MIT 许可的 C 语言项目。

README 还介绍了按步骤回放并导出执行记录的功能。不过文中没有给出量化基准或测试依据,可用于判断稳定性的资料也有限。因此,用于操控真实设备的具体硬件方案可以确认,但在各种环境下的表现质量,仅凭这些资料难以判断。