Devotd Github
新发现多模态

facebookresearch/seamless_communication — 语音与文本翻译模型合集

facebookresearch/seamless_communication 是一个收录了多语言 AI 模型的仓库,这些模型可同时翻译语音与文本。

仓库信息facebookresearch/seamless_communication ↗

facebookresearch/seamless_communication 是一个收录了多语言 AI 模型的仓库,这些模型可同时翻译语音与文本。

GitHub 项目说明: Foundational Models for State-of-the-Art Speech and Text Translation

星标
★ 11.9K
复刻
1.2K
语言
Jupyter Notebook
许可证
NOASSERTION
查看原始来源 ↗在 GitHub 查看 ↗

facebookresearch/seamless_communication 是一个收录了多语言 AI 模型的仓库,这些模型可同时翻译语音与文本。仓库说明将该项目定义为语音与文本翻译的基础模型,README 则把 Seamless 介绍为一套让人们在不同语言之间获得更自然、更真实交流体验的模型合集。该项目在 GitHub 上获得 11891 个 Star,标注的主要语言是 Jupyter Notebook。创建日期为 2023 年 8 月 1 日,未给出已发布的版本号。

从所含内容看,核心是三个分工不同的模型。SeamlessM4T 是支持约 100 种语言的大规模多语言、多模态机器翻译模型。多模态指的是在一个模型中同时处理语音与文本这类形态不同的输入。该模型同时支持语音到语音翻译、文本翻译和自动语音识别。SeamlessExpressive 在翻译语音的同时保留语调与声音风格,SeamlessStreaming 则支持流式翻译,边接收输入边翻译并输出。两者结合而成的 Seamless 把多语言实时表达型翻译作为单一统一模型提供。

不过,证据薄弱之处也很明显。许可证仅标注为 NOASSERTION,仅凭这条记录无法确认实际使用条件。README 中没有与其他模型比较翻译质量的数值或基准测试结果。由于主要语言是 Jupyter Notebook,难以断定代码究竟是打包成型的库,还是以示例和笔记本为主。评分也不高,动量一项仅为 10 分制下的 1.1 分,新鲜度、技术、质量等分项都没有给出。仅从已记录的范围来看,它更接近一套值得浏览的多语言语音与文本翻译研究用模型合集,但要以性能为依据做出引入决定还为时过早。