jay7828/dooms

jay7828/dooms 是一款在 Apple Silicon 上使用 Metal 和 Core ML 运行语言、语音与视觉模型的 C++ 推理引擎，现有资料中最新版本为 v0.6.1。

GitHub 项目说明: Fast inference engine for Apple Silicon: 4-bit LLMs at 256 tok/s (MLX: 224), Whisper, Kokoro TTS. Metal + Core ML, Python/C++.

星标

★ 1

复刻

0

语言

C++

许可证

Apache-2.0

最新版本

v0.6.1