github.devotd.
新着マルチモーダル

qwenaudio/sensevoice — 多言語音声認識と感情・イベント検出

qwenaudio/sensevoice の公開モデル SenseVoiceSmall と最新リリース runtime-llamacpp-v0.2.1 の機能、確認できる限界を扱う。

リポジトリ情報qwenaudio/sensevoice ↗

Open-source SenseVoiceSmall model for Mandarin, Cantonese, English, Japanese, and Korean ASR, language ID, emotion recognition, and audio event detection.

スター
★ 9.5K
フォーク
840
言語
C
ライセンス
MIT
最新リリース
runtime-llamacpp-v0.2.1
原文を見る ↗GitHub で見る ↗

qwenaudio/sensevoice の公開モデル SenseVoiceSmall は、中国語普通話・広東語、英語、日本語、韓国語の音声を扱う多言語音声モデルである。最新リリースは runtime-llamacpp-v0.2.1 で、このバージョンで何が変更されたかは提供された資料に記載されていない。公開チェックポイントは対応言語の自動音声認識(ASR)と音声言語識別(LID)を提供し、感情および音声イベントのタグも出力する。

このモデルは音声から文字だけでなく、感情や音のイベント情報まで抽出するために使われる。ASR は音声をテキストに変換する機能であり、LID は音声に用いられた言語を識別する機能である。リポジトリの説明は SenseVoiceSmall の ASR と LID の対象言語として中国語普通話・広東語、英語、日本語、韓国語を明記している。感情認識と音声イベント検出も含まれるが、提供された情報にはタグの細目も言語別の性能数値も示されていない。

FunASR では FSMN-VAD と CAM++ を個別に組み合わせることで話者分離を行うことができる。これは SenseVoiceSmall 自体の機能ではない。リポジトリのライセンスは MIT、実装言語は C と記録されている。ただし提供された事実には精度データも他のモデルとのベンチマークもなく、最新リリースが何を変えたのかも確認できない。したがって機能の範囲は明確だが、性能や今回のリリースの効果を判断できる根拠は限られている。