github.devotd.
새 소식추론/서빙

yinsongxu/llm2jev v0.2.0 — 이미지 Box 판정 추가

yinsongxu/llm2jev는 프리필의 yes/no 로짓으로 판정하는 도구이며, v0.2.0에서 이미지 바운딩 박스 판정이 추가됐다.

저장소 정보yinsongxu/llm2jev ↗

Turn local language models into Jev-style structured decision models. Get results from text and images with prefill alone—no token-by-token decoding required.

스타
★ 449
포크
50
언어
Python
라이선스
Apache-2.0
최신 릴리스
v0.2.0
원문 보기 ↗GitHub에서 보기 ↗

yinsongxu/llm2jev는 기존 언어모델을 Jev 방식의 구조화된 판정 모델로 바꾸는 Python 프로젝트다. 저장소 설명에 따르면 학습이나 파인튜닝 없이 사용할 수 있다. 최신 릴리스 v0.2.0에서는 이미지 바운딩 박스를 다루는 Box 판정을 추가했다. 기존 Choice·Score·Noul을 포함해 네 종류의 질의를 한 요청에 섞을 수 있다.

이 방식은 정답 토큰을 하나씩 생성하는 대신, 입력을 처리하는 프리필 단계에서 yes/no 로짓만 읽어 판정 확률을 얻는다. 따라서 토큰 단위 디코딩 없이 분류·평가·행동 선택에 활용하는 것이 핵심이다. 텍스트와 이미지 입력을 다루며, SGLang·Transformers·MLX 백엔드를 제공한다. OpenAI 파이썬 SDK를 상속한 클라이언트로 채팅과 판정을 같은 서비스와 모델에서 처리할 수 있다. 라이선스는 Apache-2.0이다.

README는 공개 JevBench 231문항으로 정확도와 지연을 평가했고, P50 지연이 Jev 공식 결과의 10분의 1 미만이라고 주장한다. 다만 이 비교는 저장소 자체의 평가이며, 외부 재현 결과는 FACTS에 제시되지 않았다. 그러므로 성능 우위가 독립적으로 확인됐다고 보기보다는, 프리필 기반 판정 접근과 Box 추가를 보여주는 프로젝트로 보는 편이 타당하다.