alexshpunt/pi-agent-computer-use は、Pi コーディングエージェントにコンピューター使用機能を接続するプロジェクトです。最新リリースは v0.1.3 です。ネイティブ UI ツリーとスクリーンショットを読み取り、実際の入力を送って Windows のアプリやブラウザを操作します。ただし、提供された情報には v0.1.3 で何が変わったのかという具体的な変更内容は記載されていません。
このプロジェクトの中心は、画面を読み取り、入力し、その結果の画面をもう一度確認するというツールの流れです。画面要素が構造として表現されたネイティブ UI ツリーとアクセシビリティ情報を活用してウィンドウや対象を探し、要素や座標をクリックして入力します。その後、新しい画面を読み取って操作結果を確認します。リポジトリには、GIMP で絵を追って描くデモ、数種類のモデルの記録、作業指示、再現用の設定資料があります。TypeScript で書かれており MIT ライセンスを使用し、実装は Cua Driver フォークの Windows 機能に基づいています。
資料が示している範囲は、画面情報と入力をつなぐ実装、そして GIMP のデモとモデルの記録までです。この事例と記録だけから、複数のアプリにおける安定性や性能を判断することはできません。したがって、完成された自動化ツールの性能を立証したプロジェクトというより、GUI 操作を Pi コーディングエージェントに接続する方式を探るための参考実装に近いものLysです。