Devotd Github
新着マルチモーダル

openmoss/moss-image — レイアウト制御を主張する 5B 画像モデル

openmoss/moss-image は、テキストレンダリングとレイアウト制御に対応した 5B パラメータの DiT ベース画像モデルの公式リポジトリです。

リポジトリ情報openmoss/moss-image ↗

openmoss/moss-image は、テキストレンダリングとレイアウト制御に対応した 5B パラメータの DiT ベース画像モデルの公式リポジトリです。

GitHub の説明: Official repository for MOSS-Image, a 5B-parameter base DiT model with high-quality text rendering, layout generation, and efficient fine-tuning.

スター
★ 2.4K
フォーク
128
言語
Python
ライセンス
Apache-2.0
原文を見る ↗GitHub で見る ↗

openmoss/moss-image は、テキストから画像を作る MOSS-Image の公式リポジトリです。5B パラメータ規模の拡散トランスフォーマー(DiT)ベースモデルで、画像内の文字を表現するテキストレンダリングと、テキストおよびオブジェクトの配置制御を主張します。コードとモデル重みは Apache-2.0 ライセンスで公開されています。

README では MOSS-Image-Base と MOSS-Image-SFT の重みが紹介されています。JSON レイアウトで画像内のテキストとオブジェクトの位置を指定でき、長いプロンプトやピクセル座標ベースの絶対レイアウト入力にも対応します。リポジトリの説明では、プロンプトは最大 4K トークンまで受け取れるとしています。Python と Gradio の使い方、ComfyUI 用のプラグインも提供します。重みは Hugging Face で配布され、パイプラインクラス MOSSImagePipeline は diffusers に登録されています。このリポジトリが中心を置くのは、学習方法ではなく、公開重みを利用した画像生成と配置制御です。

ただしリポジトリには学習コードがなく、構成は推論ラッパー、Gradio アプリ、ComfyUI プラグイン、ウェブサイト資産が中心です。README は効率的なファインチューニングを主張していますが、このリポジトリだけでファインチューニングが可能かは確認されていません。テキストの正確さや画像品質を裏づける数値もリポジトリ内では示されていません。記録されているコミットは 10 件で、提供された情報には最新リリースがありません。したがって公開されている機能は確認できますが、性能や学習経路を判断する根拠は限定的です。