github.devotd.
새 소식멀티모달

openai/whisper v20250625 — 다국어 음성 인식·번역 공식 구현

openai/whisper는 다국어 음성 인식과 영어 번역, 언어 식별을 지원하는 공식 구현으로, 학습된 모델과 공개 가중치, 명령행 도구를 함께 공개한 저장소다.

저장소 정보openai/whisper ↗

openai/whisper는 다국어 음성 인식과 영어 번역, 언어 식별을 지원하는 공식 구현으로, 학습된 모델과 공개 가중치, 명령행 도구를 함께 공개한 저장소다.

GitHub 설명: Robust Speech Recognition via Large-Scale Weak Supervision

스타
★ 111K
포크
13.5K
언어
Python
라이선스
MIT
최신 릴리스
v20250625
원문 보기 ↗GitHub에서 보기 ↗

openai/whisper는 여러 언어의 음성을 텍스트로 옮기는 범용 음성 인식 모델의 공식 구현이다. 이 모델은 영어 번역과 언어 식별(어느 언어로 말했는지 알아내는 작업)까지 함께 수행한다. 저장소는 2022년 9월 16일 생성됐고, GitHub에 공개된 최신 릴리스는 v20250625다. 구현 언어는 Python, 라이선스는 MIT이며 스타 수는 110981이다.

Whisper는 다양한 음성 자료로 학습한 범용 음성 인식 모델이다. 저장소는 이 모델을 대규모 약한 지도 학습(large-scale weak supervision) 방식의 견고한 음성 인식으로 설명한다. README는 음성 인식·번역·언어 식별을 하나의 트랜스포머 인코더-디코더 구조로 다루며, 여러 음성 처리 작업을 토큰 시퀀스(텍스트 조각의 나열) 형태로 함께 처리한다고 밝힌다. 학습된 음성 모델과 공개 가중치를 함께 제공하며, 명령행 도구로 오디오 파일을 전사할 수 있다고 안내한다.

다만 README가 제시하는 모델 크기별 메모리 요구량과 상대 속도는 A100에서 영어 음성을 전사한 조건의 측정치이며, 실제 성능은 달라질 수 있다고 밝힌다. 그 수치를 다른 환경의 성능 기준으로 옮겨 읽을 수는 없다. 공개된 평가 점수는 모멘트 7.2(10점 만점)만 채워져 있고 신기성·기술·품질 항목은 비어 있어 비교 평가 근거는 주어지지 않는다. README는 비영어 음성을 영어로 번역할 때 turbo가 아닌 다국어 모델을 쓰라고 안내한다. 이 저장소가 제시하는 성능 정보는 특정 조건의 측정치에 한정된다.