github.devotd.
新发现多模态

qwenaudio/sensevoice — 多语言语音识别与情感、事件检测

介绍 qwenaudio/sensevoice 公开的 SenseVoiceSmall 模型与最新版本 runtime-llamacpp-v0.2.1 的功能,以及可核实的局限。

仓库信息qwenaudio/sensevoice ↗

Open-source SenseVoiceSmall model for Mandarin, Cantonese, English, Japanese, and Korean ASR, language ID, emotion recognition, and audio event detection.

星标
★ 9.5K
复刻
840
语言
C
许可证
MIT
最新版本
runtime-llamacpp-v0.2.1
查看原始来源 ↗在 GitHub 查看 ↗

qwenaudio/sensevoice 公开的模型 SenseVoiceSmall 是一个多语言语音模型,支持中文普通话、粤语、英语、日语和韩语。最新版本为 runtime-llamacpp-v0.2.1,所提供的资料中没有说明该版本改动了什么。公开检查点为支持的语言提供自动语音识别(ASR)和语音语种识别(LID),并输出情感与音频事件标签。

该模型用于从语音中提取的不只是文字,还包括情感与声音事件信息。ASR 是把语音转换为文本的功能,LID 是识别语音中所用语言的功能。仓库说明明确列出 SenseVoiceSmall 的 ASR 与 LID 目标语言为中文普通话、粤语、英语、日语和韩语。其中也包含情感识别与音频事件检测,但所提供的信息既未给出标签的具体细项,也未给出各语言的性能数据。

在 FunASR 中,可以单独结合 FSMN-VAD 与 CAM++ 来进行说话人分离。这并不是 SenseVoiceSmall 自身的功能。仓库的许可证为 MIT,实现语言记录为 C。不过所提供的事实中没有准确率数据,也没有与其他模型的基准测试结果,最新版本究竟改动了什么也无法确认。因此功能范围是清楚的,但用于判断性能或本次版本效果的依据有限。