github.devotd.
新发现多模态

swivid/f5-tts v1.1.22 — 基于 Flow Matching 的 TTS 官方代码

swivid/f5-tts 是使用 Flow Matching 生成流畅且忠实语音的 TTS 项目的官方代码仓库,最新版本为 1.1.22。

仓库信息swivid/f5-tts ↗

swivid/f5-tts 是使用 Flow Matching 生成流畅且忠实语音的 TTS 项目的官方代码仓库,最新版本为 1.1.22。

GitHub 项目说明: Official code for "F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching"

星标
★ 15.4K
复刻
2.3K
语言
Python
许可证
MIT
最新版本
1.1.22
查看原始来源 ↗在 GitHub 查看 ↗

swivid/f5-tts 的最新版本是 1.1.22。F5-TTS 是一个使用 Flow Matching(把连续数据当作一个整体流动来学习并直接生成的方式)生成流畅、忠实语音的 TTS(把文本转换为语音的技术)项目的官方代码仓库。

仓库中包含两条模型路径:应用了 ConvNeXt V2 的 Diffusion Transformer 架构 F5-TTS,以及在形态上贴近论文实现的 Flat-UNet Transformer 形态 E2 TTS。README 介绍 Sway Sampling 是推理阶段提升性能的 flow step 采样策略。项目支持通过 Gradio 和 CLI 进行语音生成、多风格与多说话人生成以及语音聊天,还收录了训练与微调说明和 Docker 使用指南。实现语言为 Python,许可证为 MIT。

不过,由于没有给出发布说明,1.1.22 具体改动了什么并不清楚。关于 Sway Sampling 的效果,也只有提升性能的说法,没有数值对比。已记录的分数只有动量 3.9,新颖性、技术和质量分数均为空,因此也没有剩下能判断两个模型孰优孰劣的依据。能够作为依据的只剩下支持的功能与许可证范围。以 1.1.22 的改进幅度作为评价依据还为时过早。