github.devotd.
新发现推理与服务

shawnshekari/strixite v0.3.1 — 面向 Strix Halo 的 HIP 推理引擎

shawnshekari/strixite 是为 AMD Strix Halo 和 Qwen3.8-Flash-Next 打造的基于 HIP 的 LLM 推理引擎。

仓库信息shawnshekari/strixite ↗

LLM inference engine written from scratch in HIP for AMD Strix Halo (gfx1151) and Qwen3.8-Flash-Next - ~50 tokens/s out to 492k context

星标
★ 57
复刻
7
语言
C++
许可证
AGPL-3.0
最新版本
v0.3.1
查看原始来源 ↗在 GitHub 查看 ↗

shawnshekari/strixite 是一个基于 HIP 的 LLM 推理引擎,用于在 AMD Strix Halo(gfx1151)上运行 Qwen3.8-Flash-Next。最新版本为 v0.3.1,提供的信息中没有列出该版本改动了哪些内容。仓库说明称其速度约为每秒 50 个令牌,上下文可达 492k。README 说明它没有依赖 llama.cpp 或 ggml,而是从零开始用 HIP 编写,并直接实现了各个 kernel。这是一种面向 AMD Strix Halo 与特定模型组合的做法,而不是广泛支持通用引擎。

该引擎的目标是在保持长上下文的同时生成模型响应。README 称,在一台配备 128GB 内存的 Strix Halo 上可支持 512k 上下文,提示词处理速度为每秒 1,370 个令牌。它还支持 RAM/磁盘提示词缓存,以及一次最多检查 7 个令牌的多令牌预测。项目以 C++ 编写,采用 AGPL-3.0 许可证,仓库目前有 56 个 star。README 还提到包含 512 个专家的 MoE 架构,以及从 SSD 读取的 51B 参数 n-gram 表。

不过这些性能数字是仓库自行给出的结论,并没有公开的测量脚本或基准测试结果文件。仅凭 README 中 terminal-bench-mini 核心套件 19/19 的成绩,很难复现 492k 上下文下的速度,也难以推广到其他环境。因此,v0.3.1 的具体变更和性能的独立验证都无法仅凭现有信息确认,把它视为面向特定硬件与模型组合的实验性引擎更为妥当。