Devotd Github
新着推論・サービング

defai-digital/ax-engine v7.8.0 — Apple Silicon でのマルチモデルサービング

defai-digital/ax-engine は Apple Silicon 上で複数の言語モデルを提供する実行環境で、最新リリースは v7.8.0 である。

リポジトリ情報defai-digital/ax-engine ↗

defai-digital/ax-engine は Apple Silicon 上で複数の言語モデルを提供する実行環境で、最新リリースは v7.8.0 である。

GitHub の説明: One Mac process. Many models. Real speed. Multi-model LLM serving with prefix reuse, MTP acceleration, and OpenAI APIs — built for Apple Silicon, measured against mlx-lm and llama.cpp.

スター
★ 32
フォーク
2
言語
Rust
ライセンス
Apache-2.0
最新リリース
v7.8.0
原文を見る ↗GitHub で見る ↗

defai-digital/ax-engine は MLX ベースの実行環境であり、Apple Silicon 上で複数の言語モデルを提供する。最新リリースは v7.8.0 である。FACTS にはこのバージョンでの変更点について具体的な記録がないため、変更内容は確認できない。リポジトリの説明では、マルチモデルサービング、プレフィックス再利用、MTP 高速化を主要機能として掲げ、OpenAI API も提供すると明かしている。

README によると、モデル別のパッケージとオプション機能を区分し、複数のモデルの常駐とリクエスト経路の選択、スケジューリング、キー値キャッシュを扱う。プレフィックス再利用は、リクエストが共有する接頭部分の計算を再度使い回す仕組みである。キー値キャッシュは、モデルがトークンを処理する際に作るキーと値の情報を保存して活用する機能である。リポジトリの説明では mlx-lm と llama.cpp を比較対象として挙げている。このプロジェクトは Rust で書かれており、ライセンスは Apache-2.0 である。

ただし、README の性能や品質に関する主張は、特定のハードウェアとモデルの組み合わせに限定される。一部の高速化機能は、検証待ちであるか実験的なオプション機能として説明されている。比較測定の具体的な結果は FACTS に記載がなく、v7.8.0 の変更履歴も示されていない。したがって確認可能な範囲では機能構成とサポート方針を見することはできるが、性能上の優位性や今回のリリースの改善点を判断する根拠は不足している。