jitllm/jitllm は Go で書かれた推論エンジンである。モデルを読み込む際に CPU や GPU に対応したカーネルを生成して実行する JIT コンパイル方式采用的是。最新リリースは v0.2.6 で、Apache-2.0 ライセンスで公開されている。提供された情報には、このバージョンの個別の変更点は示されていない。
README によると、CPU では SSE・AVX2・AVX-512・VNNI と NEON の機械語を、GPU では CUDA 用 PTX、Vulkan 用 SPIR-V、Metal シェーダー、AMDGPU 用 ROCm コードを生成する。ディスク・RAM・VRAM を単一のページング層にまとめてメモリを超えるモデルを扱い、混合モデルでは各専門家を別々のページに置くことで、トークンについてルーティングされた専門家のみを読み込む。README 自身のベンチマークでは、V100 4 枚で Qwen3-Next-80B のプリフィル性能が llama.cpp の 4.62 倍であり、0.4B から 120B までの 35 種類すべてがデコードで、34 種類がプリフィルで llama.cpp を上回った。
これらの数値は README が提示した自身のベンチマーク結果であり、独立した性能比較を意味しない。さらに README は、ROCm 経路を AMD ハードウェアで試験していないこと、インタプリタベースの代替経路も設けていないことを明かしている。したがって性能比較は検証の範囲を踏まえて読むべきであり、AMD 環境では ROCm サポートを確認することが難しい点も考慮する必要がある。