jitllm/jitllm은 Go로 작성된 추론 엔진이다. 모델을 불러올 때 CPU나 GPU에 맞는 커널을 생성해 실행하는 JIT 컴파일 방식을 사용한다. 최신 릴리스는 v0.2.6이며 Apache-2.0 라이선스로 공개됐다. 제공된 정보에는 이 버전의 개별 변경 내역이 없다.
README에 따르면 CPU에서는 SSE·AVX2·AVX-512·VNNI와 NEON 기계어를 생성하고, GPU에서는 CUDA용 PTX, Vulkan용 SPIR-V, Metal 셰이더, AMDGPU용 ROCm 코드를 생성한다. 디스크·RAM·VRAM을 하나의 페이징 계층으로 묶어 메모리를 넘어서는 모델을 처리하며, 혼합 모델에서는 토큰이 라우팅된 전문가만 읽도록 각 전문가를 별도 페이지로 둔다. README의 자체 벤치마크에서는 V100 4장에서 Qwen3-Next-80B 프리필 성능이 llama.cpp의 4.62배였고, 0.4B에서 120B까지 35종 모델은 디코드에서 모두, 34종은 프리필에서 llama.cpp를 앞섰다.
이 수치는 README에 제시된 자체 벤치마크 결과로, 독립적인 성능 비교를 뜻하지는 않는다. 또한 README는 ROCm 경로를 AMD 하드웨어에서 시험하지 않았다고 밝히며, 해석 기반 대체 경로도 두지 않는다. 따라서 성능 비교는 검증 범위를 감안해 읽고, AMD 환경에서는 ROCm 지원을 확인하기 어렵다는 점을 고려해야 한다.