DiffuSpace 在 diffuspace/clover-35b-a3b-preview 仓库中介绍了 Clover-35B-A3B 预览模型。根据 README,该模型将混合专家(MoE)结构与块级扩散生成相结合。README 还说明了 Hugging Face 权重以及 Transformers、SGLang、llama.cpp 推理路径。这并非正式发布版本的更新日志,而是关于该模型预览与使用路径的介绍。
该模型总参数量为 35B,其中每个 token 激活约 3B。块级扩散生成不同于逐 token 续写句子的方式,而是把 token 归为若干块来生成。README 说明块内使用双向注意力,并给出最长 131072 token 的上下文。因此,该仓库的核心在于区分总模型规模与逐 token 激活规模,并把块生成方式与推理路径一并呈现。
目前可确认的资料只有 README 和图示,训练代码与训练指南据称将在今后公开。因此,虽然所描述的结构和运行路径可以理解,但无法用仓库中的代码验证实现细节或生成质量。与其依据这一阶段的资料判断性能,更妥当的做法是:在实现与评估依据公开之前,将其视为面向研究的模型介绍。