github.devotd.
新着マルチモーダル

vast-ai-research/edenlive — インタラクティブなワールド向けのリアルタイム生成レンダラー

vast-ai-research/edenlive はワールドの状態と見た目の描画を分離し、参照動画と文の指示からフレームを生成するプロジェクトである。

リポジトリ情報vast-ai-research/edenlive ↗

Real-time generative rendering for interactive worlds, from any reference.

スター
★ 122
フォーク
5
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

vast-ai-research/edenlive は、参照動画と文の指示に基づいてインタラクティブなワールドのフレームを作るリアルタイム生成レンダラーである。ワールドの状態変化はコーディングエージェントやエンジンが管理し、EdenLive は画面の見た目を描画する。今回公開されたバージョン情報は FACTS には記載されておらず、リポジトリの説明では状態処理と描画を分離した構成が示されている。

この構成では、エンジンが生成した参照動画を目標の最初のフレームと文の指示につなぎ、詳細な画面を作り出す。ライセンスは Apache-2.0 で、Hugging Face に 5B と 14B の重みを公開している。公開項目には双方向推論と少数ステップ推論用の重み、リアルタイムのストリーミング推論コード、文の指示を操作して試すためのゲームスキル、全体の流れを確認できるフロントエンドが含まれる。プロジェクトページでは 480P と 720P の出力、および毎秒 24 フレームを超える再生を示し、5B モデルの 720P 単一 GPU バッチ設定も案内している。

ただし文書に記載された検証環境は Linux x86-64 と 80GB NVIDIA GPU、Python 3.10 である。RTX 5090 1 枚で 1280x704 解像度において毎秒約 24.7 フレームという値は、LightX2V 連携の節の表に限られる。したがって、これを一般的なコンシューマー向けグラフィックの性能と受け取るより、公開された環境と連携条件のもとで示された結果として捉えるほうが正確である。