github.devotd.
リリースマルチモーダル

0xshug0/audio.cpp v0.9.2 — ASR モデルとストリーミングを追加

ggml ベースの純 C++ 音声推論エンジン 0xshug0/audio.cpp v0.9.2 の ASR・TTS 機能と性能パスの変更を整理する。

リポジトリ情報0xshug0/audio.cpp ↗

An all-in-one, pure C++ inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python dependency.

スター
★ 3.6K
フォーク
427
言語
C++
ライセンス
NOASSERTION
最新リリース
v0.9.2
原文を見る ↗GitHub で見る ↗

0xshug0/audio.cpp は ggml ベースの純 C++ 音声推論エンジンで、音声認識と合成、音声活動検出、音声変換、音楽生成に対応する。GitHub で公開された v0.9.2 は、ASR と TTS の機能Emphasis、 performanceパスとプラットフォーム対応をまとめて拡張したリリースである。Python 依存なしで複数の音声タスクを扱うローカル推論スタックというプロジェクトのスコープは、今回の変更でも 이어진다。

ASR には実験段階の Cactus Compute Whistle モデルと、デンマーク語の Hviske v6、FireRed、さらに VAD とストリーミングが追加された。TTS には話者反転埋め込み条件、duration predictor のないチェックポイントの読み込み、参照音声長の上限である max_ref_sec が加わった。性能パスでは LFM2-Audio の量子化重みに ggml repacked CPU カーネルを適用し、CUDA で寄与しない転置畳み込みの tap をスキップする。speech-to-speech は前のターンの prefill とエンコーダ出力を再利用する。この変更はモデル対応の拡大と推論 과정の最適化を同時に狙っている。

CUDA block_reduce の共有メモリ競合バグは llama.cpp #26385 のバックポートで修正され、Metal のパディング行バグの修正も含まれる。SSE ストリーミングと C API ライブラリ、Windows Vulkan ビルドの配布も追加された。ただし、提供されたリリース情報には精度や処理速度の数値はない。Whistle も実験段階であるため、新しいパスの実際の品質と性能は、この情報だけでは判断しにくい。