github.devotd.
新发现多模态

lipku/livetalking v2.0.4 — 实时对话型数字人引擎

lipku/livetalking 是一个流式数字人引擎,通过文本或语音驱动虚拟形象进行实时对话,最新版本为 v2.0.4。

仓库信息lipku/livetalking ↗

lipku/livetalking 是一个流式数字人引擎,通过文本或语音驱动虚拟形象进行实时对话,最新版本为 v2.0.4。

GitHub 项目说明: Real time interactive streaming digital human

星标
★ 10K
复刻
1.6K
语言
Python
许可证
Apache-2.0
最新版本
v2.0.4
查看原始来源 ↗在 GitHub 查看 ↗

lipku/livetalking 是一个流式数字人引擎,通过文本或语音驱动虚拟角色,实现实时对话。它把语音合成与口型模型衔接起来,生成会说话的虚拟形象。该仓库的最新版本是 v2.0.4。现有记录中没有 v2.0.4 的变更条目清单,因此无法确认本次发布新增或修复了什么。

实现语言为 Python,许可证为 Apache-2.0。它支持接入 LLM 的对话、声音克隆、说话过程中打断、WebRTC(在浏览器中实时交换视频与音频的方式)·RTMP·虚拟摄像头输出、多用户同时接入以及前端 API。可驱动的模型有 ernerf、musetalk、wav2lip 和 Ultralight-Digital-Human。该仓库创建于 2023 年 12 月 19 日,GitHub star 数为 9983。

不过,README 将该项目介绍为已在业界广泛商用,但这属于仓库自身的说法,并非独立评价。现有记录中没有自建基准测试、性能数据或真实落地案例。按 10 分制评估,仅填写了 momentum 分数 5.4,新鲜度、技术和质量分数均未提供。仅凭功能范围与商用化描述,无法判断实战性能与稳定性。性能和实际落地程度需要借助仓库之外的资料另行确认。