l-forster/open-jet은 로컬 모델을 사용하는 오프라인 코딩 에이전트와 자체 추론 엔진을 함께 제공하는 Python 저장소다. 최신 릴리스는 v0.5.0이다. 제공된 자료에는 이 버전의 변경 목록이 없어 새로 추가되거나 수정된 내용은 확인되지 않는다. 24GB 이상 메모리의 NVIDIA RTX 30·40·50세대에서 Qwen3.8-27B를 자체 CUDA 메가커널로 실행하며, 그 밖의 모델이나 그래픽카드에서는 llama-server로 폴백한다.
이 저장소는 범용 추론 엔진 대신 Qwen3.8-27B에 맞춘 CUDA 커널로 llama.cpp 서버를 대체하려는 구성이다. README에 제시된 개발자 자체 RTX 3090 측정에서는 디코드 속도가 llama.cpp 대비 1.53~1.93배였고, 프롬프트 처리 속도는 1050-1140 tok/s에서 1530-1600 tok/s로 제시됐다. 디코드 단계마다 단일 persistent kernel launch로 4~5개 draft 토큰을 검증하는 설계도 포함한다. 코어 라이선스는 AGPL-3.0-only이며, 상업 기능에는 별도 조건이 있다.
성능 수치는 개발자가 RTX 3090에서 측정한 단일 대화 결과이며, 배치 성능을 나타내지 않고 독립 검증도 제시되지 않았다. llama.cpp와 비교한 KL 발산은 0.0009, top token 일치율은 99.08%로, 출력이 근접하지만 완전히 같지는 않다. 지원 대상 밖에서는 llama-server로 전환되므로, 성능 주장은 특정 모델과 그래픽카드 조건에 한정해 읽어야 한다.