jaedync/crucible-strix-halo 是在 AMD Strix Halo 系统上运行 Qwen3.8-Flash-Next 的 EXL3 检查点的推理引擎。目标硬件为 Ryzen AI Max+ 395 APU 与 Radeon 8060S 显卡。目前没有公开发布的版本。README 中连同性能测量表、测量方法以及复现条件一并公开。
该仓库并未封装其他推理引擎,而是使用以 C++20 编写的自有 ROCm/HIP 内核。它在本地 OpenAI 兼容服务器上提供对话、流式响应与函数调用,并说明支持精确推测解码。推测解码是先预测下一个 token、再验证结果以完成生成的方式。README 中还附有按上下文长度和模型压缩率划分的吞吐量表,以及多个会话同时运行的结果。许可证为 Apache-2.0。
不过,该引擎的目标仅限于包含 Ryzen AI Max+ 395 与 Radeon 8060S 在内的特定 GPU 架构。作者也将其定位为研究用软件,而非通用后端或运营服务。吞吐量数值是作者公开的测量结果,并不代表其他环境或其他引擎的性能。因此,与其把它当作通用推理工具,更准确的说法是:它是面向该硬件的实现与测量资料。