github.devotd.
新发现推理与服务

peonist-ai/halogen-flash-server — Strix Halo 专用推理服务器

peonist-ai/halogen-flash-server 是使用 AMD Strix Halo 专用内核运行 Qwen3.8-Flash-Next 的推理服务器,从 0.7.0 起可直接读取 llama.cpp GGUF。

仓库信息peonist-ai/halogen-flash-server ↗

peonist-ai/halogen-flash-server 是使用 AMD Strix Halo 专用内核运行 Qwen3.8-Flash-Next 的推理服务器,从 0.7.0 起可直接读取 llama.cpp GGUF。

GitHub 项目说明: The fastest way to run Qwen3.8-Flash-Next on Strix Halo (gfx1151)

星标
★ 1K
复刻
82
语言
Shell
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

peonist-ai/halogen-flash-server 是一个在 AMD Strix Halo(gfx1151)图形设备上运行 Qwen3.8-Flash-Next 的推理服务器。它没有采用通用运行时,而是针对该 GPU 与模型系列自行编写内核,并且不设回退路径。文档写明从 0.7.0 起可以直接读取 llama.cpp GGUF。GitHub 显示的主要语言是 Shell,星标数为 1043。该仓库创建于 2026 年 8 月 26 日。

设计目标是智能体的长对话上下文与请求往返延迟。仓库给出:单个编码智能体回合中首 token 延迟为 1.6 秒,decode(逐 token 生成答案的阶段)最高 94 tok/s。它表示 prefill(一次性处理长输入上下文的阶段)在 131K token 时仍保持在 32K 的约 96% 水平。每个数值都附有测量条件,并提供了复现步骤。它提供 OpenAI 兼容的接口地址,便于接入智能体,并附有配置、会话、图像输入、量化方面的文档。

不过,性能数值是仓库自测数据,没有附带其他验证依据。由于既没有面向 CPU 的通用执行路径,也没有为其他芯片提供移植层,因此没有依据在其他 GPU 或其他模型上期待相同结果。未能确认到许可证标注。看来只有在已经具备 Strix Halo 和 Qwen3.8-Flash-Next 系列的环境中才有意义的仓库。