qwenlm/qwen3-omni 是 Alibaba Cloud 的 Qwen 团队开发的全模态基础模型项目。据仓库说明,它能够理解文本、音频、图像和视频,并实时生成语音。本次内容是项目介绍,而非新版本的发布。FACTS 中没有记录最新版本,因此无法确认版本变更内容。
该项目提出了一种在单个模型中处理多种输入格式、并同时生成语音的端到端模型。端到端是指在同一模型体系内完成输入理解与响应生成。README 摘要介绍了对多语言输入的原生处理,以及以文本和自然语音形式进行的流式响应。此外还介绍了音频与视频交互、系统提示词控制以及多模态应用场景。仓库许可证为 Apache-2.0,语言标注为 Jupyter Notebook。FACTS 中记录的 star 数量为 4062。
不过,所介绍的功能与实际性能仍需区分。FACTS 中没有给出反映响应延迟或识别准确率的基准测试数值,也没有记录最新版本。因此,实时语音生成和低延迟交互应理解为项目方给出的功能说明,仅凭记录无法判断其性能水平或部署准备程度。