jitllm/jitllm 是一个用 Go 编写的推理引擎。它采用 JIT 编译方式，在加载模型时为相应的 CPU 或 GPU 生成内核并执行。最新版本是 v0.2.6，以 Apache-2.0 许可证发布。所提供的信息中没有这一版本的逐项变更记录。
据 README 所述，CPU 端生成 SSE、AVX2、AVX-512、VNNI 与 NEON 机器码，GPU 端生成用于 CUDA 的 PTX、用于 Vulkan 的 SPIR-V、Metal 着色器以及用于 AMDGPU 的 ROCm 代码。它把磁盘、RAM 和 VRAM 归入同一个分页层以处理超出内存容量的模型；在混合模型中，它把每个专家放在单独的页面上，使每个 token 只读取被路由到的专家。在 README 自带的基准测试中，4 张 V100 上 Qwen3-Next-80B 的预填充性能是 llama.cpp 的 4.62 倍；在 0.4B 到 120B 的 35 种模型中，全部在解码阶段领先 llama.cpp，其中 34 种在预填充阶段领先。
这些数字来自 README 提出的自带基准测试结果，并不代表独立的性能对比。README 还说明其 ROCm 路径未在 AMD 硬件上测试过，也没有提供基于解释器的备用路径。因此阅读性能对比时应考虑验证范围；在 AMD 环境下还需注意难以确认 ROCm 支持这一点。