github.devotd.
새 소식로보틱스

bincequ/roboharness — 시각-기하 제어 패널로 LLM 에이전트 구동

bincequ/roboharness는 LLM 에이전트가 2차원 영상의 관심 지점을 좌표로 바꿔 기본 동작을 조합하도록 하는 로보틱스 하네스다.

저장소 정보bincequ/roboharness ↗

bincequ/roboharness는 LLM 에이전트가 2차원 영상의 관심 지점을 좌표로 바꿔 기본 동작을 조합하도록 하는 로보틱스 하네스다.

GitHub 설명: A robotic harness that gives LLM agents a visual-geometric control panel so that they can directly understand and invoke embodied tasks.

스타
★ 250
포크
19
언어
Python
라이선스
MIT
원문 보기 ↗GitHub에서 보기 ↗

bincequ/roboharness는 LLM 에이전트에 시각-기하학적 제어 패널을 제공하는 로보틱스 하네스다. 에이전트는 2차원 영상에 관심 지점을 표시한다. 광학 흐름 추적(optical flow tracking)으로 그 지점을 따라가고, 깊이 역투영(depth back-projection)으로 위치를 받은 뒤 기본 동작을 조합해 조작을 수행한다. 모델을 새로 학습하지 않고 시각 클릭, 키포인트 추적, 기하 제약을 결합하는 방식이다. Python으로 작성됐고 MIT 라이선스로 공개됐다.

훈련된 시각-언어-행동 모델에 기대는 대신 에이전트가 좌표를 직접 받아 기본 동작을 조립하는 접근이다. 저장소에는 BEHAVIOR 시뮬레이터와 평가기, RGB-D 인터페이스, Claude Code·Codex 하네스, 작업 정의와 평가 파이프라인이 들어 있어 요구 동작과 통과 기준을 함께 확인할 수 있다. 재현 계약도 공개돼 있어 고정 씨드, 과제마다 다섯 개 인스턴스와 고정 인스턴스 번호, 공식 평가기, 허용 오차를 명시하고 검증 산출물과 기준 결과를 저장소에 포함한다. 저장소는 2026년 10월 7일 생성됐고 별은 250개다.

다만 자동 검사 워크플로는 없다. 전체 실행은 사람이 돌려야 하고, 실제 비교 수치는 로컬 모델 서버에 달려 있다. 등록된 릴리스도 없다. 수집된 평가 기록의 점수는 novelty 7.0, tech 7.0, quality 7.0, momentum 1.2로 모멘텀만 낮다. 로컬 모델 서버와 환경 구성에 따라 비교 수치가 달라진다는 한계가 남는다.