Devotd Github
새 소식추론/서빙

wwoosshh/geulpuv2 v0.9.0 — 결정론적 로컬 LLM 엔진과 디버거

wwoosshh/geulpuv2는 로컬 GPU에서 GGUF 모델을 재현성 있게 실행하고 기록한 실행을 비교하는 엔진·디버거 저장소다.

저장소 정보wwoosshh/geulpuv2 ↗

wwoosshh/geulpuv2는 로컬 GPU에서 GGUF 모델을 재현성 있게 실행하고 기록한 실행을 비교하는 엔진·디버거 저장소다.

GitHub 설명: Deterministic local LLM engine and debugger — run GGUF models on your own GPU, get bit-identical output, and record, replay and compare runs. Written in 글(geul).

스타
★ 4
포크
0
언어
Python
라이선스
MIT
최신 릴리스
v0.10.2
원문 보기 ↗GitHub에서 보기 ↗

wwoosshh/geulpuv2는 로컬 GPU에서 GGUF 언어 모델을 실행하는 결정론적 엔진과 디버거를 제공한다. 저장소의 최신 릴리스는 v0.9.0이다. 제공된 자료에는 이 버전에서 새로 바뀐 항목이 없어, 릴리스별 변경 내용은 특정할 수 없다. 같은 요청에서 같은 토큰과 확률값을 재현하도록 정밀도 규약을 문서로 정한 것이 프로젝트의 핵심이다. 엔진과 서버, 앱은 한국어 키워드 프로그래밍 언어인 글로 구현됐다.

이 저장소는 모델 실행 결과를 재현하고 차이를 살피려는 용도에 초점을 둔다. 실행을 기록해 다시 재생할 수 있고, 토큰 지점에서 갈라 한 요소를 바꾼 결과와 비교할 수 있다. 토큰별 분석 화면도 제공한다. README에 따르면 CUDA와 Vulkan을 지원하며, 브라우저 대화 화면과 OpenAI 호환 인터페이스도 갖췄다. 저장소 언어는 Python으로 표시되고 라이선스는 MIT다. 여기서 결정론은 배치나 슬롯, 프롬프트 캐시, 스펙큘레이티브 디코딩을 포함한 실행 조건에서도 결과를 고정하려는 설계다.

다만 제공된 자료에는 성능 비교나 외부 검증 결과가 제시되지 않아, 정밀도 규약이 실제 환경에서 어느 범위까지 성립하는지는 판단하기 어렵다. 따라서 v0.9.0의 구체적인 변경점이나 엔진의 성능 우위보다, 실행을 기록하고 비교하는 디버깅 구조가 확인되는 저장소로 보는 편이 정확하다.