github.devotd.
新着マルチモーダル

honwee/mynah v0.1.0 — セルフホストのリアルタイムデジタルヒューマン

honwee/mynah は Go のコアと差し替え可能なワーカーで構成し、自分のサーバー上でリアルタイムデジタルヒューマンを運用するプロジェクトです。

リポジトリ情報honwee/mynah ↗

Mynah — self-hosted realtime digital human. One GPU, full admin console, Apache-2.0. 自己服务器上的实时数字人系统

スター
★ 194
フォーク
76
言語
Go
ライセンス
Apache-2.0
最新リリース
v0.1.0
原文を見る ↗GitHub で見る ↗

honwee/mynah は自分のサーバー上で運用するリアルタイムデジタルヒューマンのプロジェクトです。リポジトリに記載されている最新リリースは v0.1.0 で、提供された情報にはこのバージョンでの変更点は書かれていません。リポジトリの説明と README によると、Go で書かれたコアがアバタイワーカーの映像と音声を WebRTC でブラウザーに届けます。Apache-2.0 ライセンスで公開されています。

このプロジェクトは、アバタと音声認識・音声合成、言語モデルをつなぎ、ブラウザーでの音声対話を提供することに焦点を置いています。コアはアバタエンジンと双方向の gRPC セッションを確立し、TTS 音声とエンコードされた映像・音声フレームをブラウザーへ送信します。ASR ワーカーと、発話終了を判定する turn-detector ワーカーも対話の流れに参加します。アバタ・TTS・ASR・LLM・ターン判定は差し替え可能なプラグイン構成です。データベースオプションを有効にすると、管理者 API、設定の即時反映、知識ベース、チャネル公開機能が利用できます。ワーカーは gRPC ストリーミングを使い、TTS と LLM の接続は OpenAI 互換 HTTP に対応します。

運用の範囲はハードウェアとセッションの扱い方に左右されます。README は、デフォルトの FlashHead エンジンが 4090 級の NVIDIA GPU を必要とし、軽量な wav2lipLS プロファイルは低スペック GPU を対象えると述べています。アバタイワーカー 1 つがライブセッション 1 つを担当し、GPU がなくても各コンポーネントをリモートエンドポイントとして構成できます。README には性能数値もベンチマークもないため、実際のレイテンシや画質は確認できません。したがって、現時点の資料から機能構成と運用条件は把握できますが、リアルタイムの品質を判断するのは困難です。