github.devotd.
새 소식멀티모달

qwenaudio/sensevoice — 다국어 음성 인식과 감정·이벤트 감지

qwenaudio/sensevoice의 공개 SenseVoiceSmall 모델과 최신 릴리스 runtime-llamacpp-v0.2.1의 기능 및 확인 가능한 한계를 다룬다.

저장소 정보qwenaudio/sensevoice ↗

Open-source SenseVoiceSmall model for Mandarin, Cantonese, English, Japanese, and Korean ASR, language ID, emotion recognition, and audio event detection.

스타
★ 9.5K
포크
840
언어
C
라이선스
MIT
최신 릴리스
runtime-llamacpp-v0.2.1
원문 보기 ↗GitHub에서 보기 ↗

qwenaudio/sensevoice의 공개 모델 SenseVoiceSmall은 중국어 보통화·광둥어, 영어, 일본어, 한국어 음성을 다루는 다국어 음성 모델이다. 최신 릴리스는 runtime-llamacpp-v0.2.1이며, 이 버전에서 바뀐 내용은 제공된 자료에 적혀 있지 않다. 공개 체크포인트는 지원 언어의 자동 음성 인식(ASR)과 음성 언어 식별(LID)을 제공하고 감정 및 오디오 이벤트 태그도 출력한다.

이 모델은 음성에서 글자뿐 아니라 감정과 소리의 사건 정보까지 추출하는 데 쓰인다. ASR은 음성을 텍스트로 바꾸는 기능이고, LID는 음성에 쓰인 언어를 식별하는 기능이다. 저장소 설명은 SenseVoiceSmall의 ASR과 LID 대상 언어로 중국어 보통화·광둥어, 영어, 일본어, 한국어를 명시한다. 감정 인식과 오디오 이벤트 감지도 포함되지만, 제공된 정보는 태그의 세부 항목이나 언어별 성능 수치를 제시하지 않는다.

FunASR에서는 FSMN-VAD와 CAM++를 별도로 결합해 화자 분할을 수행할 수 있다. 이는 SenseVoiceSmall 자체 기능이 아니다. 저장소의 라이선스는 MIT이며 구현 언어는 C로 기록돼 있다. 다만 제공된 사실에는 정확도나 다른 모델과의 벤치마크가 없고, 최신 릴리스가 무엇을 바꿨는지도 확인되지 않는다. 따라서 기능 범위는 분명하지만 성능이나 이번 릴리스의 효과까지 판단할 근거는 제한적이다.