github.devotd.
新着マルチモーダル

zai-org/cogvideo v1.0 — テキスト・画像ベースの動画生成

zai-org/cogvideo の最新リリース v1.0 と、CogVideo・CogVideoX の生成機能および提供ツールを取り上げる。

リポジトリ情報zai-org/cogvideo ↗

text and image to video generation: CogVideoX (2024) and CogVideo (ICLR 2023)

スター
★ 13.1K
フォーク
1.4K
言語
Python
ライセンス
Apache-2.0
最新リリース
v1.0
原文を見る ↗GitHub で見る ↗

zai-org/cogvideo は CogVideo と CogVideoX の動画生成モデルの公式コードリポジトリである。CogVideo は ICLR 2023 のモデルで、CogVideoX は 2024 年のモデルである。リポジトリに記載された最新リリースは v1.0 である。提示された資料にはこのリリースでの変更内容が記載されていないため、バージョン番号以外に新しく追加・修正された機能は特定できない。

このプロジェクトは、テキストや画像を条件として動画を生成するモデルと関連コードを提供している。CogVideoX 系はテキストからの動画生成と画像からの動画生成に加え、入力動画の動きを 이어 이어生成する処理もサポートする。公開されているモデルは CogVideoX-2B と CogVideoX-5B である。README には Diffusers と SAT を用いた推論およびファインチューニングの例が案内されている。Colab の資料に加え、モデル変換やキャプション生成のツールも含まれる。実装言語は Python、ライセンスは Apache-2.0 である。したがって、モデルを公開するだけのリポジトリではなく、生成とファインチューニングに必要なサンプルや補助ツールまで提供するコードリポジトリである。

ただし、提示された資料には v1.0 の変更一覧もモデル別の性能測定値も存在しない。モデル名と対応タスクは確認できるが、どのモデルがどのような条件でより良い結果を出すかは、この資料だけでは判断できない。リリースの具体的な変更や性能を評価するには、別の根拠が必要である。