github.devotd.
新发现多模态

myshell-ai/openvoice — 基于参考语音克隆的语音生成工具

myshell-ai/openvoice 是一个基于 Python 的语音克隆项目,克隆参考语音的音色,并以多种语言和风格合成语音。

仓库信息myshell-ai/openvoice ↗

myshell-ai/openvoice 是一个基于 Python 的语音克隆项目,克隆参考语音的音色,并以多种语言和风格合成语音。

GitHub 项目说明: Instant voice cloning by MIT and MyShell. Audio foundation model.

星标
★ 38K
复刻
4.3K
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

myshell-ai/openvoice 是一个语音生成工具,克隆参考语音的音色,用该声音合成语音。它使用 Python 编写,并以 MIT 许可证开源。该仓库创建于 2023 年 11 月 29 日,目前已积累 38,019 个星标。本次没有确认到发布标签,因此这更像是指向项目本身的发现,而不是新版本。

该项目由 MIT 与 MyShell 共同打造,仓库说明将其称为音频基础模型(audio foundation model),即从已学习的声音中生成新声音的基础模型。README 介绍 OpenVoice 通过克隆参考语音的音色,生成多种语言和口音的语音。它可以细粒度地调节情绪、口音、节奏、停顿和音高等语音风格,并支持零样本语音克隆(zero-shot voice cloning)——即使参考语音与生成语音的语言不在多语言训练数据之中,也能无需额外训练地克隆初次听到的声音。README 还说明 OpenVoice V2 提供更好的音频质量,以及英语、西班牙语、法语、中文、日语和韩语的原生支持,V1 与 V2 均可依据 MIT 许可证免费用于商业和研究目的。

不过,本次确认的信息中没有显示 V2 比上一版本好多少的数值或基准测试。发布历史也没有留存,因此无法直接比较 V1 与 V2 的改进幅度,音频质量与原生语言支持只能依据 README 的描述来了解。这些并非独立测得的结果,剩下的判断依据只有动量分数 5.4。先从明确将韩语列为原生支持的 V2 开始体验是合适的。