マルチモーダルランタイム推論
画像、音声、動画、視覚言語、統合マルチモーダルモデルに主として特化した再利用可能な実行エンジン。先にllm-inferenceで定める完全なエンジンの配備・ハードウェア優先順位を適用する。モデル公開物、学習ツール、利用者向けメディア制作工程、マルチモーダル対応が付随的な汎用エンジンは除く。
| プロジェクト | 用途 | スター | 言語 | ライセンス | 最新リリース |
|---|---|---|---|---|---|
| flashml-org/freevideo | MiniMax H3動画モデルをコンシューマーGPUで効率的に実行するローカル推論エンジンです。 | ★ 2.1K | Python | Apache-2.0 | v0.4.14 |
| nyosegawa/speech.cpp | ggml 上で音声合成・認識・VAD モデルを複数のハードウェアバックエンドで実行する。 | ★ 180 | C++ | MIT | v0.8.10 |