Devotd Github
新发现推理与服务

jay7828/dooms v0.6.1 — 面向 Apple Silicon 的推理引擎

jay7828/dooms 是一款在 Apple Silicon 上使用 Metal 和 Core ML 运行语言、语音与视觉模型的 C++ 推理引擎,现有资料中最新版本为 v0.6.1。

仓库信息jay7828/dooms ↗

jay7828/dooms 是一款在 Apple Silicon 上使用 Metal 和 Core ML 运行语言、语音与视觉模型的 C++ 推理引擎,现有资料中最新版本为 v0.6.1。

GitHub 项目说明: Fast inference engine for Apple Silicon: 4-bit LLMs at 256 tok/s (MLX: 224), Whisper, Kokoro TTS. Metal + Core ML, Python/C++.

星标
★ 1
复刻
0
语言
C++
许可证
Apache-2.0
最新版本
v0.6.1
查看原始来源 ↗在 GitHub 查看 ↗

jay7828/dooms 是一款面向 Apple Silicon 的 C++ 推理引擎。现有资料中最新版本为 v0.6.1,但没有给出该版本的变更记录,因此无法确认本次发布究竟改变了什么。仓库说明称其支持 4 位语言模型推理、Whisper 语音识别和 Kokoro 语音合成。同时给出了每秒 256 token 的数值,而作为对比列出的 MLX 数值为每秒 224 token。

该引擎的目标是利用 Apple Silicon 上的 Metal 和 Core ML 运行语言、语音、视觉语言以及视觉语言动作模型。它提供 C++、C 和 Python 接口,README 说明 Llama 与 Qwen 2 系列由其自有的 Metal 解码器处理,其他 GGUF 模型则通过 llama.cpp 支持。仓库中包含 CMake 构建配置、引擎源码和基准测试代码,README 还给出了文本、语音与视觉模型的对比测量结果以及复现脚本。许可证为 Apache-2.0。

不过,公开的性能数值是在 M1 Pro 等受限环境中测得的,README 并不保证其他设备上能获得相同的性能。因此,仓库说明中给出的吞吐量很难被视为普遍适用的 Apple Silicon 性能。由于测量条件有限,性能判断应限定在所给出的环境之内。