Devotd Github
新发现多模态

zhikangniu/voxcanvas — VoxCanvas-41M 语音编辑数据流水线

zhikangniu/voxcanvas 介绍了一个用于构建中英文指令式语音编辑训练数据集的处理流水线。

仓库信息zhikangniu/voxcanvas ↗

zhikangniu/voxcanvas 介绍了一个用于构建中英文指令式语音编辑训练数据集的处理流水线。

GitHub 项目说明: VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics

星标
★ 20
复刻
0
语言
Python
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

zhikangniu/voxcanvas 是用于处理 VoxCanvas-41M 数据集的仓库,该数据集用于训练指令式语音编辑模型。它提供以真实录音语音为输入,串联对齐、标注、合成、验证和导出的 5 阶段流水线。仓库使用 Python 实现,许可证为 MIT。FACTS 中未记载公开发布版本。

该流水线在原始语音上关联编辑片段与指令,生成符合指令内容的语音。它在语音识别和强制对齐之后构建编辑片段与指令,并在合成阶段使用 F5-TTS。验证阶段检查语音识别结果和说话人相似度。各阶段所用的语音识别与强制对齐模型已包含在代码中,执行脚本说明支持按阶段断点续跑以及单 GPU 或多 GPU 处理。迷你运行示例包含 20 条中文和英文语音。论文、数据集和演示页面的地址也一并公开,便于跟进流水线及相关资料。

不过,FACTS 中没有公开发布版本,也没有给出用于判断数据集分布或训练性能的评估数值。因此目前能够确认的只有处理阶段和运行方式,仅凭这些信息仍难以判断数据集的质量或模型训练的效果。