github.devotd.
新发现多模态

facebookresearch/audiocraft — PyTorch 音频生成与压缩库

facebookresearch/audiocraft 是一个 MIT 许可的 PyTorch 研究库,包含 EnCodec 音频压缩器与 MusicGen 音乐生成模型的推理和训练代码。

仓库信息facebookresearch/audiocraft ↗

facebookresearch/audiocraft 是一个 MIT 许可的 PyTorch 研究库,包含 EnCodec 音频压缩器与 MusicGen 音乐生成模型的推理和训练代码。

GitHub 项目说明: Audiocraft is a library for audio processing and generation with deep learning. It features the state-of-the-art EnCodec audio compressor / tokenizer, along with MusicGen, a simple and controllable music generation LM with textual and melodic conditioning.

星标
★ 23.8K
复刻
2.7K
语言
Jupyter Notebook
许可证
MIT
查看原始来源 ↗在 GitHub 查看 ↗

facebookresearch/audiocraft 是一个面向音频处理与生成的深度学习研究用 PyTorch 库。仓库简介和 README 说明该项目包含 AudioGen 与 MusicGen 的推理及训练代码。它以 MIT 许可证发布,在 GitHub 上获得了 23751 个 star。仓库显示的主要语言是 Jupyter Notebook,创建日期为 2023 年 6 月 8 日。未能确认公开发布的正式版本。

先看它做什么:这个库涵盖环境音与音乐的生成模型,提供用于音频深度学习研究的 PyTorch 组件以及模型训练流水线。核心是 EnCodec 与 MusicGen。EnCodec 是音频压缩器兼分词器,把波形转换为模型易于处理的符号单元。MusicGen 是以文本和旋律为条件生成音乐的语言模型(LM),仓库简介将其介绍为简单且可控的音乐生成模型。README 说明除 EnCodec 之外还涵盖 Multi Band Diffusion、MAGNeT、AudioSeal、MusicGen Style 和 JASCO。

有一些需要确认的边界。由于没有公开的发布信息,难以追踪 AudioGen 与 MusicGen 的代码处于何种状态;而且 GitHub 显示的主要语言是 Jupyter Notebook,仅凭这些信息难以确定代码的核心是软件包还是示例。23751 个 star 只是关注度的度量,并不能保证质量。没有任何性能对比数据;在被评分的项目中,只有动量(momentum)一项偏低,为 3.1(满分 10 分),而新鲜度、技术与质量的分数均未给出。仅从已文档化的范围来看,它更接近于一份研究用代码集合,在开始音频生成研究时可以一并考察 EnCodec 与 MusicGen。