jay7828/dooms 是一款面向 Apple Silicon 的 C++ 推理引擎。现有资料中最新版本为 v0.6.1,但没有给出该版本的变更记录,因此无法确认本次发布究竟改变了什么。仓库说明称其支持 4 位语言模型推理、Whisper 语音识别和 Kokoro 语音合成。同时给出了每秒 256 token 的数值,而作为对比列出的 MLX 数值为每秒 224 token。
该引擎的目标是利用 Apple Silicon 上的 Metal 和 Core ML 运行语言、语音、视觉语言以及视觉语言动作模型。它提供 C++、C 和 Python 接口,README 说明 Llama 与 Qwen 2 系列由其自有的 Metal 解码器处理,其他 GGUF 模型则通过 llama.cpp 支持。仓库中包含 CMake 构建配置、引擎源码和基准测试代码,README 还给出了文本、语音与视觉模型的对比测量结果以及复现脚本。许可证为 Apache-2.0。
不过,公开的性能数值是在 M1 Pro 等受限环境中测得的,README 并不保证其他设备上能获得相同的性能。因此,仓库说明中给出的吞吐量很难被视为普遍适用的 Apple Silicon 性能。由于测量条件有限,性能判断应限定在所给出的环境之内。