github.devotd.
新着AIエージェント

tongyi-mai/opengcua v0.1.0 ― コード実行型のコンピュータ使用エージェントスタック

tongyi-mai/opengcua は、GUI 操作、アクセシビリティツリーの読み取り、アプリ API の呼び出し、シェルコマンドをコードとして組み合わせる汎用コンピュータ使用エージェントスタックで、最新リリースは v0.1.0 です。

リポジトリ情報tongyi-mai/opengcua ↗

An open-source stack for generalist computer-use agents, combining code execution, GUI interaction, and cross-device control.

スター
★ 79
フォーク
2
言語
HTML
ライセンス
Apache-2.0
最新リリース
v0.1.0
原文を見る ↗GitHub で見る ↗

Alibaba Tongyi-Mai が公開した tongyi-mai/opengcua は、汎用コンピュータ使用エージェントスタックです。GitHub リポジトリの最新リリースは v0.1.0 です。GUI を直接操作するにとどまらず、アクセシビリティツリーの読み取りやアプリ API・シェルコマンドの呼び出しという処理をコードとして書き、1つのプログラムの中に組み合わせます。Apache-2.0 ライセンスで公開されています。

この方式の目的は、複数種類のコンピュータ操作を 1 つの実行フローで扱うことにあります。プロジェクトでは、OSWorld-v2 オフラインセットにおいて、最先端 8 モデルの平均部分スコアが 45.3 から 64.9 へ 19.6 点上昇し、タスクあたりの平均ステップ数が 53% 減ったと報告しています。効果が大きかったのは弱いモデルで、GLM-5.3-Flash は 35.2 点、DeepSeek-V4.1-Flash は 29.8 点上昇したとしています。GUI とシェルへのアクセス条件を固定した比較では、コードを介して GUI を扱う方式がスコアを 6.1 点高め、ステップ数を 14.8% 削減したと述べています。

ただし、成果の数値はテキスト表ではなく結果の SVG 画像にしか掲載されておらず、テキストと突き合わせて確認しにくい|ARGUMENT_1_ArgName_1。macOS 実機での 4 タスクでは、Qwen3.8-Max が GPT-6 Astra の 19.4 倍の推論トークンを使いながら 3 タスクを完了したと報告されています。macOS ハーネスとクロスデバイス SDK は予備的な段階とされ、GCUA モデル自体も公開されていません。したがって、現時点の公開物は、完成品というより、評価資料と一部のツールを含む研究プレビューに近い médicaments situation です。