github.devotd.
新发现多模态

xszyou/fay — 把数字人与大语言模型接入业务系统的框架

xszyou/fay 梳理了 README 所述数字人框架的功能范围,以及性能数值等无法证实的部分。

仓库信息xszyou/fay ↗

xszyou/fay 梳理了 README 所述数字人框架的功能范围,以及性能数值等无法证实的部分。

GitHub 项目说明: fay是一个帮助数字人(2.5d、3d、移动、pc、网页)或大语言模型(openai兼容、deepseek)连通业务系统的agent框架。

星标
★ 13.6K
复刻
2.4K
语言
Python
许可证
GPL-3.0
查看原始来源 ↗在 GitHub 查看 ↗

xszyou/fay 是一个 agent 框架,把数字人——像人一样说话和行动的虚拟角色——接入业务系统。它在一个框架内同时处理 2.5D 与 3D 形象、移动设备、PC 和网页、兼容 OpenAI 的 API,以及 DeepSeek 等大语言模型(LLM)。目前没有公开的最新版本,因此无法确认是否有新版本发布。

这个框架的核心是把语音识别(ASR)、语言模型和语音合成(TTS)组合起来驱动形象。ASR 是把人的话转成文字的识别技术,TTS 是把文字或音频信号合成为语音的技术。README 将 Fay 描述为一个开源框架:它把数字人模型与大语言模型连接起来,并且可以替换 TTS、ASR 模型。它支持离线使用、流式处理和多用户并发处理,并可与微控制器、应用、网站、大型屏幕和外部业务系统联动。文本与语音交互、数字人驱动、管理控制、自动播报、意图接口被列为它的功能。

实现语言是 Python,许可证是 GPL-3.0。仓库创建于 2022 年 6 月 13 日,星标数为 13581。

不过目前能确认的只有 README。README 中整理的功能只是项目自述的范围,给出的记录里没有实测的性能数值、基准测试或实际落地案例。评分也不高,动量一项满分 10 分只填了 0.8,新颖性、技术、质量三项均为空。按照 GPL-3.0 许可证条款,如果打算与其他代码合并后分发,需要先确认相关条件。现在能确认的仅是它是一个数字人框架;实际的响应质量和并发处理规模仍需另行核实。