shawnshekari/strixite v0.4.0 是面向 AMD Strix Halo(gfx1151) 和 Qwen3.8-Flash-Next 的 HIP 推理引擎更新。据 GitHub 发布说明,本次版本将 8 位 KV 缓存提升为默认值。同时还修复了长对话中提示缓存每轮都重新读取对话的问题,以及同一张图像被反复解码的问题。
发布说明称,在 512k 上下文中,单个对话状态的内存从 13.5 GiB 降至 8.3 GiB,GPU 缓冲区从 95.3 GiB 减少到 91.9 GiB。存入提示缓存的对话体积约缩小 40%。解码同样的 20 张图像所需时间从 1.76 秒降至 0.07 秒。预填充快了 3%,解码速度则说明在误差范围内没有变化。仓库说明中写有在最高 492k 上下文下每秒约 50 个 token。
这些数值和改动来自 GitHub 上的 v0.4.0 发布说明,提供的信息并未说明测量环境,也未说明对回答质量的影响。仓库说明中的处理速度同样没有给出测量条件。因此,内存和图像解码方面的改进可以视为该发布所报告的结果,但仅凭这些信息还难以判断质量变化以及其他环境下的表现。