shawnshekari/strixite 是一个基于 HIP 的 LLM 推理引擎,用于在 AMD Strix Halo(gfx1151)上运行 Qwen3.8-Flash-Next。最新版本为 v0.3.1,提供的信息中没有列出该版本改动了哪些内容。仓库说明称其速度约为每秒 50 个令牌,上下文可达 492k。README 说明它没有依赖 llama.cpp 或 ggml,而是从零开始用 HIP 编写,并直接实现了各个 kernel。这是一种面向 AMD Strix Halo 与特定模型组合的做法,而不是广泛支持通用引擎。
该引擎的目标是在保持长上下文的同时生成模型响应。README 称,在一台配备 128GB 内存的 Strix Halo 上可支持 512k 上下文,提示词处理速度为每秒 1,370 个令牌。它还支持 RAM/磁盘提示词缓存,以及一次最多检查 7 个令牌的多令牌预测。项目以 C++ 编写,采用 AGPL-3.0 许可证,仓库目前有 56 个 star。README 还提到包含 512 个专家的 MoE 架构,以及从 SSD 读取的 51B 参数 n-gram 表。
不过这些性能数字是仓库自行给出的结论,并没有公开的测量脚本或基准测试结果文件。仅凭 README 中 terminal-bench-mini 核心套件 19/19 的成绩,很难复现 492k 上下文下的速度,也难以推广到其他环境。因此,v0.3.1 的具体变更和性能的独立验证都无法仅凭现有信息确认,把它视为面向特定硬件与模型组合的实验性引擎更为妥当。