컴퓨터 사용 에이전트

스크린샷, 접근성 트리, HID 또는 원격 제어 인터페이스를 통해 그래픽 데스크톱이나 실제 기기를 인식하고 조작하는 에이전트입니다. 모델만 사용하는 시각 추론과 일반적인 원격 데스크톱 클라이언트는 제외합니다.

세부 분야

클릭, 문자 입력, 메뉴 탐색 또는 데스크톱 애플리케이션 자동화를 수행하는 크로스플랫폼 에이전트와 하네스입니다. 코딩 전용 터미널 에이전트와 에이전트 출력을 표시하기만 하는 유틸리티는 제외합니다.

에이전트가 휴대폰, 태블릿, 스피커, 카메라 또는 임베디드 보드를 조작하도록 하는 프로토콜, 펌웨어, 브리지 및 도구입니다. 주로 최종 사용자용 어시스턴트를 목표로 만들어진 모바일 에이전트 애플리케이션은 제외합니다.

이 분야의 프로젝트 (3)
프로젝트	하는 일	스타	언어	라이선스	최근 릴리스
zhongerxin/iphone-use	USB와 WebDriverAgent로 실제 아이폰 앱을 자동화해 코덱스가 조작하도록 MCP 서버를 제공합니다.	★ 4.1K	Python	MIT	v0.3.15
tongyi-mai/opengcua	접근성 트리, 앱 API, 셸과 GUI 조작을 결합해 데스크톱을 제어하는 범용 컴퓨터 사용 에이전트 스택입니다.	★ 109	HTML	Apache-2.0	v0.1.0
ghorbelhamdi/buddy-android	코딩 에이전트가 Android 휴대폰을 사용할 수 있게 하는 플로팅 채팅 버블 앱입니다.	★ 70	Java	Apache-2.0	v2.1.13