nvidia-nemo/speechは音声モデルを研究する研究者と PyTorch 開発者のためのフレームワークだ。GitHubでは v3.0.0 が最新リリースとして表示されている。ただし公開情報にリリースノートがないため、このバージョンで何が変更されたかは確認できない。
リポジトリの説明は、このフレームワークを大規模言語モデル、マルチモーダル、音声 AI を併せて扱う研究者Compatibly開発者向けの拡張可能な生成 AI 構造だと説明している。READMEは Automatic Speech Recognition(ASR、音声認識)、Text-to-Speech(TTS、音声合成)、Speech LLM 関連機能に加え、既存のコードと事前学習済みモデルのチェックポイントを活用して音声モデルを作成しカスタマイズしデプロイするよう設計されていると明かしている。
音声合成モデルの開発からファインチューニングと推論までを一か所で扱う。2019年8月5日に作成された公開プロジェクトで、主言語は Python、ライセンスは Apache-2.0、GitHub スター数は 18610 個だ。
確認できる情報はここまでだ。ASR・TTSの精度やレイテンシに関する性能指標、他の音声フレームワークとの比較資料は公開情報にない。収集されたスコア記録ではモメンタム項目は10点基準で2.7と低い。いま導入するのではなく、注視する価値のある項目に近い。