jay7828/dooms

jay7828/dooms は Apple Silicon 上で Metal と Core ML を用いて言語・音声・視覚モデルを実行する C++ 推論エンジンであり、提供された資料における最新リリースは v0.6.1 です。

GitHub の説明: Fast inference engine for Apple Silicon: 4-bit LLMs at 256 tok/s (MLX: 224), Whisper, Kokoro TTS. Metal + Core ML, Python/C++.

スター

★ 1

フォーク

0

言語

C++

ライセンス

Apache-2.0

最新リリース

v0.6.1