github.devotd.
新发现多模态

openai/whisper v20250625 — 多语言语音识别与翻译的官方实现

openai/whisper 是多语言语音识别并支持英语翻译和语言识别的官方实现,该仓库公开了训练好的模型与公开权重,并附带命令行工具。

仓库信息openai/whisper ↗

openai/whisper 是多语言语音识别并支持英语翻译和语言识别的官方实现,该仓库公开了训练好的模型与公开权重,并附带命令行工具。

GitHub 项目说明: Robust Speech Recognition via Large-Scale Weak Supervision

星标
★ 111K
复刻
13.5K
语言
Python
许可证
MIT
最新版本
v20250625
查看原始来源 ↗在 GitHub 查看 ↗

openai/whisper 是通用语音识别模型的官方实现,可将多种语言的语音转写为文本。该模型同时具备英语翻译和语言识别(判断说话者使用的是哪种语言)的能力。该仓库创建于 2022 年 9 月 16 日,GitHub 上公开的最新版本为 v20250625。实现语言为 Python,许可证为 MIT,Star 数为 110981。

Whisper 是使用多种语音资料训练而成的通用语音识别模型。该仓库将这一模型描述为通过大规模弱监督(large-scale weak supervision)实现的稳健语音识别。README 说明,它在单一的 Transformer 编码器—解码器结构中处理语音识别、翻译和语言识别,并将多种语音处理任务统一以词元序列(文本片段的排列)形式一并处理。仓库同时提供训练好的语音模型与公开权重,并说明可以用命令行工具转写音频文件。

不过 README指出,按模型大小列出的内存需求量和相对速度,是在 A100 上转写英语语音的条件下的测量值,实际性能可能有所不同。这些数字不能直接当作其他环境的性能基准。已公开的评估分数中,只有 momentum 一项填写为 7.2(满分 10 分),novelty、technical、quality 各项均为空白,因此并未给出可用于比较评估的依据。README 建议在将非英语语音翻译成英语时,使用多语言模型而非 turbo。该仓库给出的性能信息仅限于特定条件下的测量值。