Devotd Github
新发现推理与服务

jaedync/crucible-strix-halo — 面向 Strix Halo 的 EXL3 推理引擎

在 AMD Strix Halo 系统上运行 Qwen3.8-Flash-Next 的 EXL3 检查点的研究用推理引擎。

仓库信息jaedync/crucible-strix-halo ↗

在 AMD Strix Halo 系统上运行 Qwen3.8-Flash-Next 的 EXL3 检查点的研究用推理引擎。

GitHub 项目说明: EXL3 inference engine for Qwen3.8-Flash-Next on AMD Strix Halo: Ryzen AI Max+ 395, Radeon 8060S, gfx1151, ROCm/HIP in C++20. Exact speculative decoding, OpenAI-compatible server, and speed claims stated against measured hardware ceilings.

星标
★ 5
复刻
0
语言
Python
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

jaedync/crucible-strix-halo 是在 AMD Strix Halo 系统上运行 Qwen3.8-Flash-Next 的 EXL3 检查点的推理引擎。目标硬件为 Ryzen AI Max+ 395 APU 与 Radeon 8060S 显卡。目前没有公开发布的版本。README 中连同性能测量表、测量方法以及复现条件一并公开。

该仓库并未封装其他推理引擎,而是使用以 C++20 编写的自有 ROCm/HIP 内核。它在本地 OpenAI 兼容服务器上提供对话、流式响应与函数调用,并说明支持精确推测解码。推测解码是先预测下一个 token、再验证结果以完成生成的方式。README 中还附有按上下文长度和模型压缩率划分的吞吐量表,以及多个会话同时运行的结果。许可证为 Apache-2.0。

不过,该引擎的目标仅限于包含 Ryzen AI Max+ 395 与 Radeon 8060S 在内的特定 GPU 架构。作者也将其定位为研究用软件,而非通用后端或运营服务。吞吐量数值是作者公开的测量结果,并不代表其他环境或其他引擎的性能。因此,与其把它当作通用推理工具,更准确的说法是:它是面向该硬件的实现与测量资料。