github.devotd.
新发现多模态

open-llm-vtuber/open-llm-vtuber v1.2.1 — 本地 Live2D 虚拟形象

open-llm-vtuber/open-llm-vtuber v1.2.1 是一个在本地运行的 AI 伴侣项目,把语音对话与 Live2D 虚拟形象结合起来,支持 Windows、macOS、Linux 上的网页版与桌面客户端,并可对接多种 LLM、ASR、TTS 方案。

仓库信息open-llm-vtuber/open-llm-vtuber ↗

open-llm-vtuber/open-llm-vtuber v1.2.1 是一个在本地运行的 AI 伴侣项目,把语音对话与 Live2D 虚拟形象结合起来,支持 Windows、macOS、Linux 上的网页版与桌面客户端,并可对接多种 LLM、ASR、TTS 方案。

GitHub 项目说明: Talk to any LLM with hands-free voice interaction, voice interruption, and Live2D avatar running locally across platforms

星标
★ 14.2K
复刻
1.7K
语言
Python
许可证
NOASSERTION
最新版本
v1.2.1
查看原始来源 ↗在 GitHub 查看 ↗

GitHub 公开仓库 open-llm-vtuber/open-llm-vtuber 是一个本地运行的 AI 伴侣项目,无需动手即可用语音对话,允许在它说话时插话,并显示 Live2D 虚拟形象。最新发布版本是 v1.2.1。不过本次查到的记录中没有该版本的变更列表。

其形态是向屏幕上的虚拟形象提问,再听它把回答读出来。这个项目的核心,是把语音与视觉输入同 Live2D 角色结合起来的 AI 伴侣。README 说明它支持实时语音对话和视觉识别。它可以在 Windows、macOS、Linux 上以网页版和桌面客户端的形式使用,也可以在自己的电脑上完全离线运行。语音识别(ASR)是把语音转成文字的技术,语音合成(TTS)是把文字变回声音的技术。这两者与 LLM 分别对接多种方案,并且支持角色自定义。仓库使用 Python 编写,创建于 2023 年 11 月 24 日,星标数为 14221。

不过,证据够不着的部分也很明显。仓库显示的许可证是 NOASSERTION,实际使用条件无从确认。本次查看的 README 摘要中没有关于语音延迟或识别准确率的数值,也没有能支撑性能表现的基准测试。评分项中只有 momentum 一项填了 10 分中的 5.5 分,技术、质量与新颖性都是空白。在使用条件确认之前,推迟做出引入判断更稳妥。