Devotd Github
发布本地优先编程智能体

l-forster/open-jet v0.5.4 — 低比特 KV 缓存与服务器接口补全

l-forster/open-jet v0.5.4 是补充了低比特 KV 缓存与注意力处理、服务器接口以及安装和基准测试文档的版本。

仓库信息l-forster/open-jet ↗

为本地模型提供离线编码代理,并支持一键 GPU 配置和 CUDA 推理。

GitHub 项目说明: An offline coding agent for local models. One command sets up the best model your GPU can run, and on 24 GB+ RTX 30/40/50-series cards Qwen3.8-27B runs up to 1.9x faster than llama.cpp.

星标
★ 129
复刻
14
语言
Python
许可证
AGPL-3.0
最新版本
v0.5.4
查看原始来源 ↗在 GitHub 查看 ↗

l-forster/open-jet v0.5.4 于 2026 年 10 月 30 日公开。它是面向本地模型的离线编码代理,是一个可以用一条命令在 GPU 上运行模型的设置项目。本次版本补充了低比特 KV 缓存与注意力处理、服务器接口以及安装和基准测试文档。发布说明中还提到减少了显存占用,变更内容的来源是 GitHub v0.5.4 release。

这个项目旨在用本地模型把进行编码任务的环境集中搭建起来。仓库说明称,在配备 24GB 以上显存的 RTX 30·40·50 系列上,Qwen3.8-27B 的运行速度最高可比 llama.cpp 快 1.9 倍。这个数字是仅限于说明中写明的 GPU、模型和对比对象的说法。低比特 KV 缓存是指在推理过程中用更少的比特保存此前 token 信息的方式,本次发布还涉及相关处理与服务器接口。

发布说明提到显存占用减少,但没有给出减少的幅度。仓库说明中最高 1.9 倍的性能主张同样只针对特定的 GPU、模型和对比对象,因此没有依据把它扩大解读为其他环境下的性能。因此这次更新可以看作是对本地推理的内存处理与使用路径的补全,但实际性能提升的幅度仅凭给出的信息难以判断。