github.devotd.
새 소식멀티모달

met4citizen/talkinghead v1.7.0 — 브라우저 3D 아바타 실시간 립싱크

브라우저에서 3D 아바타의 입 모양을 음성에 맞춰 움직이는 실시간 립싱크를 구현하는 JavaScript 클래스 met4citizen/talkinghead의 v1.7.0과 확인되지 않은 부분.

저장소 정보met4citizen/talkinghead ↗

브라우저에서 3D 아바타의 입 모양을 음성에 맞춰 움직이는 실시간 립싱크를 구현하는 JavaScript 클래스 met4citizen/talkinghead의 v1.7.0과 확인되지 않은 부분.

GitHub 설명: Talking Head (3D): A JavaScript class for real-time lip-sync using full-body 3D avatars.

스타
★ 1.6K
포크
358
언어
JavaScript
라이선스
MIT
최신 릴리스
v1.7.0
원문 보기 ↗GitHub에서 보기 ↗

met4citizen/talkinghead는 브라우저에서 3D 아바타의 입 모양을 음성에 맞춰 움직이는 실시간 립싱크를 구현하는 JavaScript 클래스다. 최신 릴리스는 v1.7.0이며 이 릴리스의 변경 내역은 자료에 없다. 저장소는 2023년 8월에 만들어졌다.

대화형 서비스에서 아바타의 시각 표현을 담당하는 프로젝트다. 이모지를 얼굴 표정으로 바꾸고, GLB 형식의 전신 아바타와 Mixamo 애니메이션을 지원하며 ThreeJS와 WebGL로 3D를 렌더링한다. 음성은 기본적으로 Google Cloud TTS를 사용하고 여러 언어의 립싱크를 지원한다. 타임스탬프를 주는 외부 TTS 서비스와 연동할 수도 있어 발화 시점을 기준으로 입 모양을 맞출 수 있다. JavaScript로 작성됐고 라이선스는 MIT이며 GitHub 별 수는 1623이다.

확인 가능한 범위는 README의 기능 목록까지다. 렌더링 성능이나 립싱크 지연 시간에 대한 벤치마크는 자료에 없다. 기본 음성 경로가 Google Cloud TTS라 외부 API에 의존한다. 2023년 8월 생성된 저장소라 새로 나온 프로젝트는 아니다. 연구 기록의 모멘텀 점수는 3.1이고 신규성·기술·품질 점수는 채워지지 않았다. 아바타의 시각 표현 층을 직접 쌓아 올리는 쪽에 참고할 만한 프로젝트로 보이지만 실제 대화 품질과 지연 시간은 이 자료만으로 판단하기는 이르다.