github.devotd.
새 소식추론/서빙

wandermyz/vhotseat v0.1.0 — GPU 작업 자원 인계 도구

wandermyz/vhotseat는 실행 중인 작업을 끊지 않고 로컬 LLM과 ComfyUI가 GPU 자원을 번갈아 쓰도록 중재하는 Python 도구다.

저장소 정보wandermyz/vhotseat ↗

Take turns on one GPU: hand it between a local LLM (e.g. Strata, driven by an agent like pi), ComfyUI and any other workload, never interrupting running work.

스타
★ 1
포크
0
언어
Python
라이선스
MIT
최신 릴리스
v0.1.0
원문 보기 ↗GitHub에서 보기 ↗

wandermyz/vhotseat는 로컬 LLM 서버와 ComfyUI가 한 장의 GPU를 번갈아 쓰도록 중재하는 Python 도구다. GitHub 저장소에 기록된 최신 릴리스는 v0.1.0이다. 제공된 FACTS에는 이 버전에서 새로 추가되거나 바뀐 기능이 적혀 있지 않아 변경 내역은 확인할 수 없다. 저장소가 제시하는 핵심은 실행 중인 답변이나 렌더링을 끊지 않고 GPU 자원을 다음 작업에 넘기는 방식이다.

이 도구는 GPU 메모리를 함께 쓰는 작업의 실행 시점을 조정한다. 한쪽 작업이 진행 중이면 끝날 때까지 기다린 뒤 자원을 넘기며, 대기 중인 ComfyUI 작업이 있으면 LLM 적재를 거부하고 가용 메모리를 확인한다. 자원 여유 점검, 작업별 연결부, 일괄 작업 도구와 상태 대시보드도 제공한다. 설정으로 다른 그래픽 작업을 연결할 수 있고, README에는 모의 서버를 이용한 명령 및 인계 시험이 안내되어 있다. 라이선스는 MIT다.

저장소에는 별이 1개로 기록되어 있다. 제공된 자료에는 실제 GPU에서의 처리량이나 전환 지연 수치가 없다. 시험에 관한 설명도 모의 서버 기반이므로, 실제 장치와 다양한 작업 조합에서의 동작을 입증하는 자료로 볼 수는 없다. 따라서 현재 확인되는 범위는 작업을 중단하지 않는 자원 인계 구조와 모의 시험까지이며, 실제 환경에서의 성능과 안정성은 판단하기 어렵다.