github.devotd.
新发现推理与服务

antirez/ds4 — 面向 Metal、CUDA、ROCm 的本地推理引擎

antirez/ds4 是一个基于 C 的本地推理引擎,可在 Metal、CUDA、ROCm 上运行部分模型。

仓库信息antirez/ds4 ↗

DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm

星标
★ 23.9K
复刻
2.3K
语言
C
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

antirez/ds4 是 Redis 作者 antirez 打造的基于 C 的本地推理引擎。它以 DwarfStar 之名支持 DeepSeek V4 Flash 与 4.1 Flash、DeepSeek V4 PRO、GLM 5.2 与 5.3 及 Flash、Qwen3.8 Flash Next。它覆盖 Metal、CUDA、ROCm,并以 MIT 许可证发布。这是一个范围限定在特定模型上的项目。

这个引擎并不像常见的 GGUF 运行器那样广泛执行任意模型文件,而是针对文档中列出的少数几类模型。内存不足时它使用 SSD 流式读取,主要面向内存96GB 以上的 Mac 和 Strix Halo。它还记录了用多块 GPU 组成多用户服务器的方法。文档给出了通过 RDMA 连接的两台 128GB Mac 做张量并行,以及用流水线并行合并多个系统内存的方案。README 报告的基准是在 8 层 L40S、16 个会话组合下约 126 token/秒的聚合生成速度。三个后端的支持拓宽了执行设备的选择,但模型选择仍受限于文档所列范围。

该数字是在其自有配置下得到的基准,并非每次提交都重新测量的结果。文中未给出独立验证的结果,因此它不代表其他环境下的性能。因此,它对多种硬件配置的覆盖是具体的,但更准确地说,它是一个支持模型与设备固定的引擎,而不是性能优势已被验证的通用运行器。