0xshug0/audio.cpp 是一个基于 ggml 的纯 C++ 语音推理引擎,支持语音识别与合成、语音活动检测、语音转换和音乐生成。GitHub 上发布的 v0.9.2 是一次同时扩展 ASR 与 TTS 功能、性能路径和平台支持的版本。该项目无需 Python 依赖、可在本地处理多种语音任务的定位,在本次改动中同样延续。
ASR 新增了仍处于实验阶段的 Cactus Compute Whistle 模型,以及丹麦语的 Hviske v6 和 FireRed,并加入了 VAD 与流式处理。TTS 加入了说话人反演嵌入条件、无 duration predictor 的检查点加载,以及作为参考音频长度上限的 max_ref_sec。性能路径上,对 LFM2-Audio 量化权重应用了 ggml repacked CPU 内核,并跳过在 CUDA 上没有贡献的转置卷积 tap。speech-to-speech 会复用上一轮的 prefill 与编码器输出。这次改动同时着眼于扩大模型支持和优化推理过程。
CUDA block_reduce 的共享内存竞争缺陷通过回移 llama.cpp #26385 修复,同时包含了 Metal padding 行缺陷的修复。还新增了 SSE 流式处理、C API 库以及 Windows Vulkan 构建产物。不过,所提供的发布信息中没有准确率或处理速度的数据。Whistle 同样处于实验阶段,因此仅凭这些信息难以判断新路径的实际质量与性能。