alexshpunt/pi-agent-computer-use는 Pi 코딩 에이전트에 컴퓨터 사용 기능을 연결하는 프로젝트다. 최신 릴리스는 v0.1.3이다. 네이티브 UI 트리와 스크린샷을 읽고 실제 입력을 보내 Windows 앱과 브라우저를 조작한다. 다만 제공된 정보에는 v0.1.3에서 무엇이 바뀌었는지 구체적인 변경 내역이 없다.
이 프로젝트의 핵심은 화면을 읽고 입력한 뒤 결과 화면을 다시 확인하는 도구 흐름이다. 화면 요소가 구조로 표현된 네이티브 UI 트리와 접근성 정보를 활용해 창과 대상을 찾고, 요소나 좌표를 눌러 입력한다. 이후 새 화면을 읽어 조작 결과를 확인한다. 저장소에는 GIMP에서 그림을 따라 그리는 시연과 여러 모델의 기록, 작업 지침 및 재현용 설정 자료가 있다. TypeScript로 작성됐으며 MIT 라이선스를 사용하고, 구현은 Cua Driver 포크의 Windows 기능을 바탕으로 한다.
자료가 보여주는 범위는 화면 정보와 입력을 연결하는 구현, 그리고 GIMP 시연과 모델 기록까지다. 이 사례와 기록만으로 여러 앱에서의 안정성이나 성능을 판단할 수는 없다. 따라서 완성된 자동화 도구의 성능을 입증한 프로젝트라기보다, GUI 조작을 Pi 코딩 에이전트에 연결하는 방식을 살펴볼 수 있는 참고 구현에 가깝다.