コンピューター使用エージェント
スクリーンショット、アクセシビリティツリー、HID、またはリモート制御インターフェースを通じて、GUI デスクトップや実機デバイスを認識・操作するエージェント。モデルのみによる視覚推論や通常のリモートデスクトップクライアントは含まない。
詳細分野
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| zhongerxin/iphone-use | WebDriverAgentとUSB経由でローカルMCPサーバーを提供し、Codexが実際のiPhoneアプリを自動操作できるようにします。 | ★ 4.1K | Python | MIT | v0.3.15 |
| tongyi-mai/opengcua | アクセシビリティツリー、アプリAPI、シェル、GUI操作を統合し、デスクトップを制御する汎用コンピューター使用エージェントスタックです。 | ★ 109 | HTML | Apache-2.0 | v0.1.0 |
| ghorbelhamdi/buddy-android | Claude Code、Codex、OpenCodeがAndroidrecoveryのチャットバブルから電話を使えるようにするアプリです。 | ★ 70 | Java | Apache-2.0 | v2.1.13 |