github.devotd.
新发现多模态

deepseek-ai/janus — 把视觉理解与图像生成整合为一个模型系列

deepseek-ai/janus 是 Janus-Series 多模态模型的仓库,用同一个 transformer 结构把视觉理解与图像生成结合起来。

仓库信息deepseek-ai/janus ↗

deepseek-ai/janus 是 Janus-Series 多模态模型的仓库,用同一个 transformer 结构把视觉理解与图像生成结合起来。

GitHub 项目说明: Janus-Series: Unified Multimodal Understanding and Generation Models

星标
★ 17.8K
复刻
2.2K
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

deepseek-ai/janus 是 Janus-Series 的仓库,这是一组能够理解文本与图像输入、并支持图像生成的多模态模型。仓库说明表示,它把多模态理解与生成整合进同一个模型系列。该仓库创建于 2024 年 10 月 18 日。

其架构把视觉编码部分单独分离出来,用单个 transformer 处理这两种能力。据 README 说明,Janus-Pro 扩展了训练策略、数据和模型规模,JanusFlow 则把自回归(autoregressive)语言模型与 rectified flow 结合在一起。文中介绍的模型有四个:Janus-1.3B、JanusFlow-1.3B、Janus-Pro-1B 和 Janus-Pro-7B,README 还一并整理了每个模型的下载与推理示例。许可证为 MIT,主要语言是 Python,GitHub 星标数为 17761。

不过,这条记录没有发行版本,无法确定发布时间,也没有给出用于比较性能的基准测试数值或综合评估分数。记录中留下的指标只有 momentum(动量)分数 2.4(满分 10 分),数值偏低。分离的视觉编码、单一 transformer 架构以及 MIT 许可证都可以确认,但判断依据仅限于 README 说明和示例代码。仅凭这条记录就决定投入实际使用还为时过早,直接查看示例推理代码更为现实。