l-forster/open-jet v0.5.4 于 2026 年 10 月 30 日公开。它是面向本地模型的离线编码代理,是一个可以用一条命令在 GPU 上运行模型的设置项目。本次版本补充了低比特 KV 缓存与注意力处理、服务器接口以及安装和基准测试文档。发布说明中还提到减少了显存占用,变更内容的来源是 GitHub v0.5.4 release。
这个项目旨在用本地模型把进行编码任务的环境集中搭建起来。仓库说明称,在配备 24GB 以上显存的 RTX 30·40·50 系列上,Qwen3.8-27B 的运行速度最高可比 llama.cpp 快 1.9 倍。这个数字是仅限于说明中写明的 GPU、模型和对比对象的说法。低比特 KV 缓存是指在推理过程中用更少的比特保存此前 token 信息的方式,本次发布还涉及相关处理与服务器接口。
发布说明提到显存占用减少,但没有给出减少的幅度。仓库说明中最高 1.9 倍的性能主张同样只针对特定的 GPU、模型和对比对象,因此没有依据把它扩大解读为其他环境下的性能。因此这次更新可以看作是对本地推理的内存处理与使用路径的补全,但实际性能提升的幅度仅凭给出的信息难以判断。