antirez/ds4 是 Redis 作者 antirez 打造的基于 C 的本地推理引擎。它以 DwarfStar 之名支持 DeepSeek V4 Flash 与 4.1 Flash、DeepSeek V4 PRO、GLM 5.2 与 5.3 及 Flash、Qwen3.8 Flash Next。它覆盖 Metal、CUDA、ROCm,并以 MIT 许可证发布。这是一个范围限定在特定模型上的项目。
这个引擎并不像常见的 GGUF 运行器那样广泛执行任意模型文件,而是针对文档中列出的少数几类模型。内存不足时它使用 SSD 流式读取,主要面向内存96GB 以上的 Mac 和 Strix Halo。它还记录了用多块 GPU 组成多用户服务器的方法。文档给出了通过 RDMA 连接的两台 128GB Mac 做张量并行,以及用流水线并行合并多个系统内存的方案。README 报告的基准是在 8 层 L40S、16 个会话组合下约 126 token/秒的聚合生成速度。三个后端的支持拓宽了执行设备的选择,但模型选择仍受限于文档所列范围。
该数字是在其自有配置下得到的基准,并非每次提交都重新测量的结果。文中未给出独立验证的结果,因此它不代表其他环境下的性能。因此,它对多种硬件配置的覆盖是具体的,但更准确地说,它是一个支持模型与设备固定的引擎,而不是性能优势已被验证的通用运行器。