github.devotd.
发布推理与服务

shawnshekari/strixite v0.4.0 — 8 位 KV 缓存成为默认值

shawnshekari/strixite v0.4.0 将 8 位 KV 缓存设为默认值,并修复了长对话中缓存被反复读取以及同一图像被重复解码的问题。

仓库信息shawnshekari/strixite ↗

LLM inference engine written from scratch in HIP for AMD Strix Halo (gfx1151) and Qwen3.8-Flash-Next - ~50 tokens/s out to 492k context

星标
★ 61
复刻
7
语言
C++
许可证
AGPL-3.0
最新版本
v0.4.0
查看原始来源 ↗在 GitHub 查看 ↗

shawnshekari/strixite v0.4.0 是面向 AMD Strix Halo(gfx1151) 和 Qwen3.8-Flash-Next 的 HIP 推理引擎更新。据 GitHub 发布说明,本次版本将 8 位 KV 缓存提升为默认值。同时还修复了长对话中提示缓存每轮都重新读取对话的问题,以及同一张图像被反复解码的问题。

发布说明称,在 512k 上下文中,单个对话状态的内存从 13.5 GiB 降至 8.3 GiB,GPU 缓冲区从 95.3 GiB 减少到 91.9 GiB。存入提示缓存的对话体积约缩小 40%。解码同样的 20 张图像所需时间从 1.76 秒降至 0.07 秒。预填充快了 3%,解码速度则说明在误差范围内没有变化。仓库说明中写有在最高 492k 上下文下每秒约 50 个 token。

这些数值和改动来自 GitHub 上的 v0.4.0 发布说明,提供的信息并未说明测量环境,也未说明对回答质量的影响。仓库说明中的处理速度同样没有给出测量条件。因此,内存和图像解码方面的改进可以视为该发布所报告的结果,但仅凭这些信息还难以判断质量变化以及其他环境下的表现。

同领域的其他项目

本地推理引擎 ↗