DiffuSpace は diffuspace/clover-35b-a3b-preview リポジトリで Clover-35B-A3B プレビューモデルを紹介する。README によると、このモデルは混合エキスパート(MoE)構造とブロック単位の拡散生成を組み合わせている。README は Hugging Face の重みと Transformers・SGLang・llama.cpp の推論経路を案内している。これは正式リリース版の変更履歴ではなく、モデルプレビューと利用経路に関する紹介である。
このモデルは総 35B パラメータのうち、ト큰ごとに約 3B を有効化する構造である。ブロック単位の拡散生成は、文をトークンずつ綴る方式と異なり、トークンをブロックにまとめて生成するアプローチである。README はブロック内で双方向注意を使うことを説明し、最大 131072 トークンのコンテキストも案内する。したがって、このリポジトリの要点は、大きな全体モデル規模とトークンごとの有効化規模を区別し、ブロック生成の方式を推論経路とともに提示した点にある。
確認できる資料は README と図であり、学習コードと学習手順は今後公開予定とされている。そのため説明されている構造と実行経路は把握できるものの、リポジトリ内のコードによって実装の詳細や生成品質を検証することはできない。この段階の資料のみSoupで性能を判断するより、実装と評価根拠が公開されるまで研究用のモデル紹介として捉えるほうが妥当である。