Devotd Github
新发现推理与服务

dylanatl15/engine-lab — 面向单张 Radeon VII 的 llama.cpp 补丁

dylanatl15/engine-lab 是一个整理了如何通过 llama.cpp 补丁、运行工具和测量记录,在单块 16GB Radeon VII 上运行大型混合专家模型的仓库。

仓库信息dylanatl15/engine-lab ↗

dylanatl15/engine-lab 是一个整理了如何通过 llama.cpp 补丁、运行工具和测量记录,在单块 16GB Radeon VII 上运行大型混合专家模型的仓库。

GitHub 项目说明: Run a 125B-class MoE (Qwen3.8-Flash-Next) at ~27 t/s on ONE 16 GB Radeon VII: expert-cache patches, benchmarks, profiling notes and dead ends

星标
★ 0
复刻
0
语言
C++
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

dylanatl15/engine-lab 不是新的推理引擎,而是应用于现有 llama.cpp 的补丁集合。没有公开发布的版本,也没有版本信息。仓库说明指出,它在单块 16GB Radeon VII 上以约 27 t/s 运行混合专家模型(MoE)Qwen3.8-Flash-Next。README 中整理了将模型权重放在主内存、并将常用专家缓存到显存的方式及相关实验。

该仓库把性能下降的原因归结为权重放置问题,而非算力不足,并介绍了改进缓存与数据传输的补丁。它比较了固定缓冲区传输、并行复制和按需分页,也比较了独立内核融合与执行调度变更。它同时提供运行工具和测试装置、测量记录以及失败案例,展示了针对特定环境修改 llama.cpp 的过程。相比提供新引擎,它更像是用于实验现有代码执行路径的资料。

这些性能数字来自特定显卡和配置下的测试结果。仓库说明给出约 27 t/s,但调查记录中出现了每秒 24 token 的数值,两者并不一致。因此很难将其推广为其他硬件的性能基准。许可证标注为 NOASSERTION,无法确认,也没有公开发布版。就目前而言,与其把它当作通用分发物,更适合把它看作用于考察复现条件的实验记录。