github.devotd.
新发现多模态

qwenlm/qwen3-omni — 支持多种输入与语音生成的模型

由 Alibaba Cloud 的 Qwen 团队开发的全模态模型项目,可处理文本、音频、图像和视频,并以语音和文本作答。

仓库信息qwenlm/qwen3-omni ↗

Qwen3-omni is a natively end-to-end, omni-modal LLM developed by the Qwen team at Alibaba Cloud, capable of understanding text, audio, images, and video, as well as generating speech in real time.

星标
★ 4.1K
复刻
309
语言
Jupyter Notebook
许可证
Apache-2.0
查看原始来源 ↗在 GitHub 查看 ↗

qwenlm/qwen3-omni 是 Alibaba Cloud 的 Qwen 团队开发的全模态基础模型项目。据仓库说明,它能够理解文本、音频、图像和视频,并实时生成语音。本次内容是项目介绍,而非新版本的发布。FACTS 中没有记录最新版本,因此无法确认版本变更内容。

该项目提出了一种在单个模型中处理多种输入格式、并同时生成语音的端到端模型。端到端是指在同一模型体系内完成输入理解与响应生成。README 摘要介绍了对多语言输入的原生处理,以及以文本和自然语音形式进行的流式响应。此外还介绍了音频与视频交互、系统提示词控制以及多模态应用场景。仓库许可证为 Apache-2.0,语言标注为 Jupyter Notebook。FACTS 中记录的 star 数量为 4062。

不过,所介绍的功能与实际性能仍需区分。FACTS 中没有给出反映响应延迟或识别准确率的基准测试数值,也没有记录最新版本。因此,实时语音生成和低延迟交互应理解为项目方给出的功能说明,仅凭记录无法判断其性能水平或部署准备程度。