github.devotd.
新发现多模态

honwee/mynah v0.1.0 — 自托管实时数字人

honwee/mynah 是一个在自有服务器上运行实时数字人的项目,采用 Go 核心与可替换的 worker。

仓库信息honwee/mynah ↗

Mynah — self-hosted realtime digital human. One GPU, full admin console, Apache-2.0. 自己服务器上的实时数字人系统

星标
★ 194
复刻
76
语言
Go
许可证
Apache-2.0
最新版本
v0.1.0
查看原始来源 ↗在 GitHub 查看 ↗

honwee/mynah 是一个在自有服务器上运行的实时数字人项目。仓库中记录的最新版本为 v0.1.0,提供的信息中没有列出该版本的变化内容。根据仓库描述和 README,用 Go 编写的核心通过 WebRTC 将头像 worker 的画面与音频传送到浏览器。项目以 Apache-2.0 许可证发布。

该项目侧重于把头像与语音识别、语音合成以及语言模型连接起来,在浏览器中提供语音对语音的对话。核心与头像引擎建立双向 gRPC 会话,并把 TTS 音频以及编码后的视频与音频帧发送到浏览器。ASR worker 以及负责判断发言结束的 turn-detector worker 也参与对话流程。头像、TTS、ASR、LLM 和轮次判定均为可替换的插件结构。启用数据库选项后,可使用管理员 API、配置即时生效、知识库和频道发布功能。worker 使用 gRPC 流式传输,TTS 与 LLM 连接支持兼容 OpenAI 的 HTTP。

运行范围取决于硬件和会话的处理方式。README 说明默认的 FlashHead 引擎需要 4090 级 NVIDIA GPU,而更轻量的 wav2lipLS 配置面向低规格 GPU。一个头像 worker 负责一个直播会话,即使没有 GPU,也可以把各组件配置为远程端点。README 中没有性能数据或基准测试,因此无法确认实际延迟和画质。因此,现有资料可以了解功能构成和运行条件,但难以判断实时质量。