zai-org/open-autoglm は自然言語でスマホを操作する AutoGLM ベースのエージェントフレームワークです。公開されている情報には最新のリリースバージョンがありません。視覚言語モデルがスマホ画面を理解し、自然言語の指示に合わせてデバイスを操作します。Android と HarmonyOS のデバイスを ADB と HDC で制御し、コマンドラインと Python API を提供します。リポジトリの説明は、スマホ操作のためのモデルとフレームワークを公開するプロジェクトと紹介しています。
このプロジェクトは、画面に合わせて作業を進めるスマホ向けエージェントの構築と利用に焦点を置いています。ADB は Android デバイスの制御に、HDC は HarmonyOS デバイスの制御に使われます。接続は USB だけでなく、Wi-Fi やネットワークリモートデバッグにも対応しています。機密性の高い操作では確認を求め、ログインや認証コードが必要な場合は人が引き継いで対応できます。iPhone の利用者を向けの内容は、iOS の設定手順です。主な言語は Python で、ライセンスは Apache-2.0 です。
ただし、公開されている要約には作業成功率や処理速度といった性能指標が示されておらず、実際の操作の安定性を判断できる根拠は限られます。iPhone についても、デバイス制御のサポートではなく設定手順のみが確認されています。したがって確認できる範囲は、Android と HarmonyOS の制御機能、および人が介在する手順までであり、性能や iOS の操作範囲については別途立証されたものとは見なせません。