musicurgy/delta-inference-engine 是一个 C++ 仓库,README 称其在 Windows 下用单张 NVIDIA GPU 本地运行 DeepSeek-V4.1-Flash,并提供兼容 OpenAI 的 API。FACTS 中记录的最新发行版本是 0.92。不过,0.92 具体变更了哪些条目并未给出,因此不能断定其为一次变更点。仓库公开了 CUDA、SYCL、HIP 代码,以及模型运行工具、格式转换器和验证代码。
按照 README,这个移植版本基于 Xolotl 与 Strata。它以 2 比特精度把 552B 参数模型的专家单元载入内存,内存不足时再从存储设备读取所需单元。README 还提出最高 1M 令牌的上下文。安装批处理脚本会下载或构建引擎,并准备好模型文件。许可证为 MIT。
不过,README 中的性能结果是在特定 RTX 3090 设备上测得的,并非经过独立验证的结果。仅凭单 GPU 运行的主张和给出的上下文长度,很难判断其他 PC 的内存需求或处理速度。因此,这个仓库展示了一条 Windows 运行路径,但公开的验证有限,不足以作为通用性能的依据。