met4citizen/talkinghead は、ブラウザ内で 3D アバタの口の形を音声に合わせて動かすリアルタイムリップシンクを実装する JavaScript クラスだ。最新リリースは v1.7.0 で、このリリースの変更内容は資料に記載がない。リポジトリは 2023 年 8 月に作成された。
会話型サービスにおいてアバタの視覚表現を担当するプロジェクトだ。絵文字を顔の表情に変換し、GLB 形式の全身アバタと Mixamo アニメーションに対応し、ThreeJS と WebGL で 3D をレンダリングする。音声はデフォルトで Google Cloud TTS を使い、複数言語のリップシンクに対応する。タイムスタンプを返す外部 TTS サービスとも連携でき、発話時点を基準に口の形を合わせられる。JavaScript で書かれ、ライセンスは MIT、GitHub のスター数は 1623 である。
確認できる範囲は README の機能一覧までだ。レンダリング性能やリップシンクの遅延に関するベンチマークは資料にない。デフォルトの音声経路が Google Cloud TTS であるため外部 API に依存する。2023 年 8 月に作成されたリポジトリであり、新しく出されたプロジェクトではない。研究記録のモメンタムスコアは 3.1 で、新規性・技術・品質スコアは記入されていない。アバタの視覚表現層を自分で積み上げる場合に参照する価値のあるプロジェクトのように見えるが、実際の会話品質と遅延をこの資料だけで判断するには早い。