github.devotd.
新着マルチモーダル

xszyou/fay — デジタルヒューマンとLLMを業務システムにつなぐフレームワーク

xszyou/fayは、READMEが明かしているデジタルヒューマンフレームワークの機能範囲と、性能数値など確認できない部分を併せて整理する。

リポジトリ情報xszyou/fay ↗

xszyou/fayは、READMEが明かしているデジタルヒューマンフレームワークの機能範囲と、性能数値など確認できない部分を併せて整理する。

GitHub の説明: fay是一个帮助数字人(2.5d、3d、移动、pc、网页)或大语言模型(openai兼容、deepseek)连通业务系统的agent框架。

スター
★ 13.6K
フォーク
2.4K
言語
Python
ライセンス
GPL-3.0
原文を見る ↗GitHub で見る ↗

xszyou/fayは、人が話すように振る舞う仮想の人物、すなわちデジタルヒューマンを業務システムにつなぐagentフレームワークである。2.5D・3Dアバター、モバイル端末・PC・ウェブ、OpenAI互換API、DeepSeekのような大規模言語モデル(LLM)を一つのフレームワークの中で扱う。公開された最新リリースがなく、新しいバージョンが出たかどうかは確認できない。

このフレームワークの中心は、音声認識(ASR)・言語モデル・音声合成(TTS)を組み合わせ、アバターを 움직かすことにある。ASRは人の声を文字にする認識技術で、TTSは文字や音声信号から音声を合成する技術である。READMEはFayを、デジタルヒューマンモデルと大規模言語モデルをつなぎ、TTS・ASRモデルを差し替えて使えるオープンソースフレームワークと説明している。オフライン利用、ストリーミング、複数ユーザーの同時処理に対応し、マイクロコントローラ、アプリ、Webサイト、大型画面、外部の業務システムと連携する。テキスト・音声のインタラクション、デジタルヒューマンの駆動、管理制御、自動放送、意図インターフェースが機能として整理されている。

実装言語はPython、ライセンスはGPL-3.0である。リポジトリが作成された日は2022年6月13日で、スターは13581個だ。

ただし確認できるのはREADMEまでである。READMEにまとめられた機能はプロジェクトが示している範囲にすぎず、性能を測った数値やベンチマーク、実際の導入事例は与えられた記録にない。評価スコアも低く、Momentum項目のみが10点満点中0.8で、新鮮さ・技術・品質の各項目は未記入である。GPL-3.0のライセンス条件上、他のコードと結合して配布する予定があるなら条件の確認が先である。今確認できるのはデジタルヒューマンフレームワークという点までで、実際の応答品質と同時処理の規模は別途確認が必要である。