l-forster/open-jet 是一个 Python 仓库，同时提供使用本地模型的离线编码代理和自带的推理引擎。最新版本是 v0.5.0。所提供的资料中没有该版本的变更清单，因此无法确认新增或修复的内容。它在配备 24GB 及以上显存的 NVIDIA RTX 30、40、50 系显卡上使用自研 CUDA 巨型内核运行 Qwen3.8-27B，在其他模型或显卡上则回退到 llama-server。
该仓库并非构建通用推理引擎，而是试图用针对 Qwen3.8-27B 调优的 CUDA 内核替代 llama.cpp 服务器。README 中给出的开发者本人 RTX 3090 实测显示，解码速度为 llama.cpp 的 1.53～1.93 倍，提示处理速度从 1050-1140 tok/s 提升到 1530-1600 tok/s。其设计还包括在每个解码步骤用单次持久化内核启动来验证 4～5 个草稿 token。核心许可证为 AGPL-3.0-only，商用功能另有单独条件。
性能数据是开发者在 RTX 3090 上测得的单次对话结果，不代表批量性能，也未提供独立验证。与 llama.cpp 相比，KL 散度为 0.0009，top token 一致率为 99.08%，输出接近但并不完全相同。不在支持范围内时会切换到 llama-server，因此这些性能声明应限定在特定模型和显卡条件下理解。