Devotd Github
新着推論・サービング

jay7828/dooms v0.6.1 — Apple Silicon 向け推論エンジン

jay7828/dooms は Apple Silicon 上で Metal と Core ML を用いて言語・音声・視覚モデルを実行する C++ 推論エンジンであり、提供された資料における最新リリースは v0.6.1 です。

リポジトリ情報jay7828/dooms ↗

jay7828/dooms は Apple Silicon 上で Metal と Core ML を用いて言語・音声・視覚モデルを実行する C++ 推論エンジンであり、提供された資料における最新リリースは v0.6.1 です。

GitHub の説明: Fast inference engine for Apple Silicon: 4-bit LLMs at 256 tok/s (MLX: 224), Whisper, Kokoro TTS. Metal + Core ML, Python/C++.

スター
★ 1
フォーク
0
言語
C++
ライセンス
Apache-2.0
最新リリース
v0.6.1
原文を見る ↗GitHub で見る ↗

jay7828/dooms は Apple Silicon 向けの C++ 推論エンジンです。提供された資料における最新リリースは v0.6.1 ですが、このバージョンの変更点は提示されていないため、今回何が変更されたかは確認できません。リポジトリの説明では、4 ビットの言語モデル推論、Whisper 音声認識、Kokoro 音声合成に対応しているとしています。また毎秒 256 トークンという数値を示しており、比較対象として記載された MLX の数値は毎秒 224 トークンです。

このエンジンは、Apple Silicon の Metal と Core ML を利用して言語・音声・視覚言語・視覚言語行動モデルを実行することを目的としています。C++、C、Python のインターフェースを提供しており、README では Llama 系と Qwen 2 系は独自の Metal デコーダで処理し、それ以外の GGUF モデルは llama.cpp 経由でサポートすると説明しています。リポジトリには CMake のビルド設定、エンジンのソースコード、ベンチマークコードが含まれており、README はテキスト・音声・視覚モデルの比較測定と再現スクリプトを提示しています。ライセンスは Apache-2.0 です。

ただし、公開されている性能数値は M1 Pro などの限定された環境での測定であり、README は他の機器でも同じ性能が得られることを保証していません。したがって、リポジトリの説明にあるスループットを、一般的な Apple Silicon の性能として受け入れることはできません。測定条件が限定的である以上、性能の判断は提示された環境に限定して行うべきです。