Devotd Github
新着マルチモーダル

zhikangniu/voxcanvas — VoxCanvas-41M 音声編集データパイプライン

zhikangniu/voxcanvas は、指示文ベースの音声編集学習用の中英データセットを構築する処理パイプラインを紹介している。

リポジトリ情報zhikangniu/voxcanvas ↗

zhikangniu/voxcanvas は、指示文ベースの音声編集学習用の中英データセットを構築する処理パイプラインを紹介している。

GitHub の説明: VoxCanvas-41M: A Large-Scale Bilingual Dataset for Instruction-Based Speech Editing and Its Learning Dynamics

スター
★ 20
フォーク
0
言語
Python
ライセンス
MIT
原文を見る ↗GitHub で見る ↗

zhikangniu/voxcanvas は、指示文ベースの音声編集モデルの学習に用いる VoxCanvas-41M データセットの処理リポジトリである。実際の録音音声を入力として、整列・注釈・合成・検証・エクスポートをつなぐ 5 段階のパイプラインを提供する。リポジトリの実装言語は Python で、ライセンスは MIT である。公開されているリリースバージョンは FACTS に記載されていない。

パイプラインは元音声に編集区間と指示文を対応させ、指示内容に沿った音声を生成する。音声認識と強制整列(forced alignment)の後に編集区間と指示文を構成し、合成段階では F5-TTS を使用する。検証段階では音声認識結果と話者類似度を確認する。各段階で使用する音声認識・強制整列モデルがコードに含まれており、実行スクリプトは段階ごとの再開および単一 GPU または複数 GPU の処理に対応すると説明されている。ミニ実行例には中国語と英語の音声 20 件が含まれる。論文、データセット、デモページのアドレスも併せて公開されており、パイプラインと関連資料をたどりつける。

ただし FACTS には公開リリースバージョンがなく、データセットの分布や学習性能を判断するための評価指標も示されていない。したがって現時点で確認できるのは処理段階と実行方法のみであり、この情報だけではデータセットの品質やモデル学習の効果まで判断するのは難しい。