onehumanbeing/esp32-iphone-agent は、7ドルの ESP32-S3 ボードと iPhone を使ってビジョンモデルが実端末を操作するプロジェクトだ。現在の README が説明する構成では、パソコンを使わずにボードが AirPlay 受信機と USB HID 入力デバイスとして働き、エージェントは同じ iPhone のアプリ上で動作する。リポジトリの最新リリースは v0.1.0 と記載されているが、そのタグと legacy ブランチにはパソコンを必要としていた旧バージョンが残っている。
ボードは AirPlay で受信した H.264 の画面ストリームを自らデコードせず、BLE 経由でスマートフォンアプリに転送する。アプリが映像を解釈し、OpenAI 互換のビジョンモデルに画面を送り、ボードは USB マウスとキーボード入力で AssistiveTouch のポインタを動かす。これによりアプリはタップ、スワイプ、描画、入力、キー入力を実行できる。ハードウェアの基準は XIAO ESP32S3 で、プロジェクト説明によれば専用のパソコン、開発者アカウント、脱 jail は不要だ。MIT ライセンスの C 言語プロジェクトである。
README には実行履歴を段階的に再生してエクスポートする機能についても説明がある。ただし、定量的なベンチマークやテストの根拠は示されておらず、安定性を判断できる資料も限られている。そのため実端末を操作するための具体的なハードウェア構成は確認できるが、様々な環境での動作品質をこの資料だけで判断するのは難しい。