GitHub の公開リポジトリ open-llm-vtuber/open-llm-vtuber は、手を動かさずに音声で会話し、話す最中に割り込みを許し、Live2D アバターを表示する、ローカル実行の AI コンパニオンプロジェクトである。最新リリースは v1.2.1。ただし、今回確認した記録にはこのバージョンの変更一覧がない。
画面のアバターに話しかけ、その答えを音声で聞く、という構成である。このプロジェクトの中心は、音声・視覚入力と Live2D キャラクターを組み合わせた AI コンパニオンにある。README はリアルタイムの音声会話と視覚認識に対応すると説明している。Windows・macOS・Linux で Web バージョンとデスクトップクライアントとして使え、自分のパソコン上で完全にオフラインで動かすこともできる。音声認識(ASR)は音声を文字に変える技術、音声合成(TTS)は文字を音に戻す技術である。この二つと LLM はそれぞれ複数のソリューションと接続され、キャラクターのカスタマイズにも対応する。リポジトリは Python で書かれ、2023 年 11 月 24 日に作成され、スター数は 14221 である。
ただし、判断の根拠が及ばない部分も明確である。リポジトリが表示するライセンスは NOASSERTION で、実際の利用条件は確認できない。今回確認した README 要約には、音声レイテンシや認識精度に関する数値も、性能を裏づけるベンチマークもない。スコア項目は momentum のみが 10 点満点で 5.5 点が記入されており、hotsukasa・品質・新規性は空欄である。利用条件が確認されるまでは、導入判断を先延ばしにするほうが安全である。