Devotd Github

wallawalla47/infernix

infernix 的 2026-11-05 提交把 122B 模型提示的 CPU 辅助范围从 255 列扩大到 575 列,减轻了 256 列之后出现的吞吐量断崖。

GitHub 项目说明: C++/CUDA single-GPU inference engine for Qwen3.8 (incl. Qwen3.8-Flash-Next with offloaded experts) on the RTX 5090; grew from NInfer

在 GitHub 查看 ↗
星标
★ 118
复刻
18
语言
C++
许可证
Apache-2.0
最新版本
windows-2026.10.11

文章

1