github.devotd.
릴리스멀티모달

0xshug0/audio.cpp v0.9.2 — ASR 모델과 스트리밍 추가

ggml 기반 순수 C++ 음성 추론 엔진 audio.cpp v0.9.2의 ASR·TTS 기능과 성능 경로 변경을 다룬다.

저장소 정보0xshug0/audio.cpp ↗

An all-in-one, pure C++ inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python dependency.

스타
★ 3.6K
포크
427
언어
C++
라이선스
NOASSERTION
최신 릴리스
v0.9.2
원문 보기 ↗GitHub에서 보기 ↗

0xshug0/audio.cpp는 ggml 기반 순수 C++ 음성 추론 엔진으로, 음성 인식과 합성, 음성 활동 감지, 음성 변환, 음악 생성을 지원한다. GitHub에 공개된 v0.9.2는 ASR과 TTS 기능, 성능 경로와 플랫폼 지원을 함께 확장한 릴리스다. Python 의존성 없이 여러 음성 작업을 처리하는 로컬 추론 스택이라는 프로젝트의 범위가 이번 변경에도 이어진다.

ASR에는 실험 단계인 Cactus Compute Whistle 모델과 덴마크어 Hviske v6, FireRed VAD와 스트리밍이 추가됐다. TTS에는 화자 반전 임베딩 조건, duration predictor가 없는 체크포인트 로딩, 참조 오디오 길이 상한인 max_ref_sec이 들어갔다. 성능 경로에서는 LFM2-Audio 양자화 가중치에 ggml repacked CPU 커널을 적용하고, CUDA에서 기여하지 않는 전치합성곱 탭을 건너뛴다. speech-to-speech는 이전 턴의 prefill과 인코더 출력을 재사용한다. 이 변경은 모델 지원 확대와 추론 과정의 최적화를 함께 겨냥한다.

CUDA block_reduce 공유메모리 경쟁 버그는 llama.cpp #26385 백포트로 수정됐고, Metal 패딩 행 버그 수정도 포함됐다. SSE 스트리밍과 C API 라이브러리, Windows Vulkan 빌드 배포도 추가됐다. 다만 제공된 릴리스 정보에는 정확도나 처리 속도 수치가 없다. Whistle도 실험 단계이므로, 새 경로의 실제 품질과 성능은 이 정보만으로 판단하기 어렵다.