github.devotd.
新发现多模态

met4citizen/talkinghead v1.7.0 — 浏览器 3D 虚拟形象实时唇形同步

met4citizen/talkinghead v1.7.0——在浏览器中实现实时唇形同步的 JavaScript 类,让 3D 虚拟形象的口型随语音变化,以及无法确认的部分。

仓库信息met4citizen/talkinghead ↗

met4citizen/talkinghead v1.7.0——在浏览器中实现实时唇形同步的 JavaScript 类,让 3D 虚拟形象的口型随语音变化,以及无法确认的部分。

GitHub 项目说明: Talking Head (3D): A JavaScript class for real-time lip-sync using full-body 3D avatars.

星标
★ 1.6K
复刻
358
语言
JavaScript
许可证
MIT
最新版本
v1.7.0
查看原始来源 ↗在 GitHub 查看 ↗

met4citizen/talkinghead 是一个 JavaScript 类,在浏览器中实现实时唇形同步,让 3D 虚拟形象的口型随语音变化。最新版本是 v1.7.0,资料中没有该版本的变更记录。仓库创建于 2023 年 8 月。

这是一个在对话式服务中承担虚拟形象视觉表现的项目。它把表情符号转换为面部表情,支持 GLB 格式的全身虚拟形象和 Mixamo 动画,并用 ThreeJS 和 WebGL 渲染 3D。语音默认使用 Google Cloud TTS,并支持多种语言的唇形同步。也可以接入带时间戳的外部 TTS 服务,从而以发话时点为基准对齐口型。项目使用 JavaScript 编写,许可证为 MIT,GitHub 星标数为 1623。

可确认的范围仅到 README 的功能列表为止。资料中没有关于渲染性能或唇形同步延迟的基准测试。默认语音路径为 Google Cloud TTS,因此依赖外部 API。由于仓库创建于 2023 年 8 月,它并不是新近发布的项目。研究记录中的动量分数为 3.1,新颖性、技术和质量分数均未填写。对于想要自行搭建虚拟形象视觉表现层的一方来说,它看起来是一个值得参考的项目,但实际的对话质量与延迟仅凭这份资料还难以判断。