github.devotd.
新着マルチモーダル

swivid/f5-tts v1.1.22 — Flow Matching ベースの TTS 公式コード

swivid/f5-tts は Flow Matching で自然で忠実な音声を生成する TTS プロジェクトの公式コードリポジトリで、最新リリースは 1.1.22 である。

リポジトリ情報swivid/f5-tts ↗

swivid/f5-tts は Flow Matching で自然で忠実な音声を生成する TTS プロジェクトの公式コードリポジトリで、最新リリースは 1.1.22 である。

GitHub の説明: Official code for "F5-TTS: A Fairytaler that Fakes Fluent and Faithful Speech with Flow Matching"

スター
★ 15.4K
フォーク
2.3K
言語
Python
ライセンス
MIT
最新リリース
1.1.22
原文を見る ↗GitHub で見る ↗

swivid/f5-tts の最新リリースは 1.1.22 である。F5-TTS は Flow Matching(連続的なデータを一つの流れとして学習し、直接生成する方式)を用いて自然で忠実な音声を生成する TTS(テキストを音声に変換する技術)プロジェクトの公式コードリポジトリである。

リポジトリには二つのモデル経路が含まれる。ConvNeXt V2 を適用した Diffusion Transformer ベースの F5-TTS と、論文の実装に近い形で再現した Flat-UNet Transformer 形式の E2 TTS である。Sway Sampling は推論時の flow step サンプリング戦略として性能を高めると README で紹介されている。Gradio と CLI により音声生成、マルチスタイル・マルチスピーカー生成、音声チャットに対応しており、学習・ファインチューニングや Docker の利用手順も収録されている。実装言語は Python、ライセンスは MIT である。

ただし、1.1.22 で何が変更されたかはリリースノートが示されていないため確認できない。Sway Sampling の効果についても、数値比較はなく性能を高めるとしか説明されていない。記録されたスコアはモメンタム 3.9 のみで、新剰性・技術・品質の各スコアは空欄のため、二つのモデルの優劣を判断できる根拠も残っていない。根拠として残るのは対応機能とライセンスの範囲だけである。1.1.22 の改善幅を根拠に評価するには早い段階である。