magnitudedev/magnitude は、モデルをダウンロードする際にそのコンピュータに合わせてカーネルをチューニングするオープンソースのローカル推論エンジンです。カーネルは GPU や CPU でモデルの計算を実行するコードです。プロジェクトは Rust で書かれており、Apache-2.0 ライセンスで公開されています。Apple Silicon、NVIDIA、AMD、そして CPU に対応していると説明しています。
Magnitude の核心は、ハードウェアに合った実行の組み合わせを見つけて、モデル推論に用いることです。README は Ollama より平均 2 倍以上高速と述べ、人気のローカルモデル 11 個を基準として、Mac ではプリフィル 1.32 倍・デコード 2.19 倍、NVIDIA ではプリフィル 1.34 倍・デコード 2.17 倍という数値を示しています。プリフィルは入力コンテキストを処理する段階で、デコードはその後に生成トークンを続けていく段階です。チューニングでは GPU のスレッド構成、チャンクサイズ、データの先読み距離を変え、出力が変わらない組み合わせを選びます。README によれば、チューニングには最大 1 分かかります。
加えてモデルごとの推測デコーディングのドラフトモデルと量子化 KV キャッシュを提供します。KV キャッシュはエージェントごとのメモリを半分に抑え、エージェントが終わるとメモリを返却します。セッション間のプレフィックスキャッシュも共有されます。CLI を同梱したデスクトップアプリは Pi・OpenCode・Hermes・Codex と接続できます。ただし速度の数値は README が提示した結果であり、提供された資料だけでは独立に再現できるかどうかを確認できません。したがって比較数値は、Magnitude が自ら示した性能として捉えるのが適切です。