github.devotd.
新着マルチモーダル

genmoai/mochi — Apache-2.0 で公開された重み付き動画生成モデル

genmoai/mochi は Apache-2.0 ライセンスで公開されている Mochi 1 のテキスト条件付き動画生成モデルのリポジトリで、単一 GPU での実行には約 60GB の VRAM が必要。

リポジトリ情報genmoai/mochi ↗

genmoai/mochi は Apache-2.0 ライセンスで公開されている Mochi 1 のテキスト条件付き動画生成モデルのリポジトリで、単一 GPU での実行には約 60GB の VRAM が必要。

GitHub の説明: The best OSS video generation models, created by Genmo

スター
★ 3.8K
フォーク
495
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

genmoai/mochi は、入力した文に合わせて動画を作る動画生成モデルのリポジトリである。Apache-2.0 ライセンスで、Mochi 1 の重みとテキスト条件付き動画生成モデル、VAE、および推論実装がまとめて公開された。Python で書かれており、スターは 3752 個。公開されているリリースバージョンは確認できず、リポジトリは 2024 年 9 月 11 日に作成された。

README は Mochi 1 が動きの忠実さとプロンプトへの反映力を示したとしている。テキスト条件付き生成とは、入力した文が動画の内容を決める方式であり、プロンプトへの反映力はその文が動画にどれだけ反映されたかを指す。モデルは 100 億パラメータの AsymmDiT アーキテクチャを使い、AsymmDiT は拡散トランスフォーマー(Diffusion Transformer)構造を意味する。動画生成は Gradio UI、CLI、API の 3 経路で提供され、VAE(Variational Autoencoder、データを圧縮表現に変換して復元するオートエンコーダ)と推論実装が含まれている。独自の動画データを使った LoRA(Low-Rank Adaptation、学習済み重みに少数のパラメータで新しい特徴を足す方式)ファインチューニングにも対応する。

ただし実行に必要なリソースは大きい。README によれば、単一 GPU で動かすには約 60GB の VRAM が必要だ。動きの忠実さとプロンプトへの反映力は、README が示した予備評価の結果である。独立に測定した数値や性能ベンチマーク、他の動画モデルとの比較数値はこの記録には含まれていない。記録されている関心度(momentum)指数は 10 点満点中 2.5 で、新鮮さ・技術・品質の各スコアは空欄である。余裕のあるハードウェアで直接確認ossible 対象であり、それ以上の判断にはさらに多くの根拠が必要だ。