github.devotd.
新着マルチモーダル

facebookresearch/audiocraft — PyTorch による音声生成・圧縮ライブラリ

facebookresearch/audiocraft は、EnCodec 音声コンプレッサーと MusicGen 音楽生成モデルの推論・学習コードを収録した MIT ライセンスの PyTorch 研究ライブラリである。

リポジトリ情報facebookresearch/audiocraft ↗

facebookresearch/audiocraft は、EnCodec 音声コンプレッサーと MusicGen 音楽生成モデルの推論・学習コードを収録した MIT ライセンスの PyTorch 研究ライブラリである。

GitHub の説明: facebookresearch/audiocraft

スター
★ 23.8K
フォーク
0
言語
Jupyter Notebook
原文を見る ↗GitHub で見る ↗

facebookresearch/audiocraft は、音声処理と生成のための深層学習研究用 PyTorch ライブラリである。リポジトリの説明と README は、このプロジェクトが AudioGen と MusicGen の推論および学習コードを含むと明言している。MIT ライセンスで配布され、GitHub では 23751 個のスターを獲得している。リポジトリが表示する主要言語は Jupyter Notebook で、作成日は 2023 年 6 月 8 日である。公開されている正式リリースのバージョンは確認されていない。

何をするのかから言うと、このライブラリは環境音と音楽の生成モデルを取り扱い、音声の深層学習研究のための PyTorch コンポーネントとモデル学習パイプラインを提供する。中核は EnCodec と MusicGen である。EnCodec は音声コンプレッサーでありトークナイザーで、波形をモデルが扱いやすいシンボル単位に変換する。MusicGen はテキストとメロディを条件として音楽を生成する言語モデル(LM)であり、リポジトリの説明はこれを単純で制御可能な音楽生成モデルと紹介している。README は EnCodec に加えて Multi Band Diffusion、MAGNeT、AudioSeal、MusicGen Style、JASCO も扱うと明言している。

確認しておくべき限界がある。公開されているリリース情報がないため、AudioGen と MusicGen のコードがどの時点の状態にあるかを追跡しにくく、また GitHub が表示する主要言語が Jupyter Notebook であることから、この情報だけではコードの中心がパッケージなのかサンプルなのかを確定しづらい。23751 個のスターは関心の指標にとどまり、品質を保証するものではない。性能比較の数値はなく、スコアが示された項目のうち慣性(momentum)のみが 10 点満点で 3.1 と低く、新鮮さ・技術・品質のスコアは示されていない。文書化された範囲だけを見れば、これは音声生成研究を始める際に EnCodec と MusicGen を 함께検討する価値のある研究用コード一式に近い。