github.devotd.
新着マルチモーダル

openai/whisper v20250625 — 多言語音声認識・翻訳の公式実装

openai/whisper は多言語の音声認識に加えて英語への翻訳と言語識別に対応した公式実装で、学習済みモデルと公開の重みを命令行ツールとともに公開しているリポジトリです。

リポジトリ情報openai/whisper ↗

openai/whisper は多言語の音声認識に加えて英語への翻訳と言語識別に対応した公式実装で、学習済みモデルと公開の重みを命令行ツールとともに公開しているリポジトリです。

GitHub の説明: Robust Speech Recognition via Large-Scale Weak Supervision

スター
★ 111K
フォーク
13.5K
言語
Python
ライセンス
MIT
最新リリース
v20250625
原文を見る ↗GitHub で見る ↗

openai/whisper は、多言語の音声をテキストに起こす汎用音声認識モデルの公式実装です。このモデルは英語への翻訳と言語識別(どの言語で話したかを判別する作業)까지同時に行います。リポジトリは 2022 年 9 月 16 日に作成され、GitHub で公開されている最新リリースは v20250625 です。実装言語は Python、ライセンスは MIT、スター数は 110981 です。

Whisper はさまざまな音声データを用いて学習された汎用音声認識モデルです。リポジトリは、このモデルが大規模弱教師(large-scale weak supervision)による頑健な音声認識であると説明しています。README は、音声認識・翻訳・言語識別を単一のトランスフォーマーエンコーダーデコーダー構造で扱い、複数の音声処理タスクをトークン列(テキスト断片の並び)としてまとめて処理すると説明しています。学習済みの音声モデルと公開の重みをあわせて提供し、コマンドラインツールで音声ファイルを書き起こせると案内しています。

ただし README は、モデルサイズ別のメモリ必要量と相対速度が、A100 で英語の音声を書き起こした条件での測定値であり、実際の性能は異なる場合があると明記しています。その数値を他の環境の性能基準として読み替えることはできません。公開されている評価スコアは momentum のみ 7.2(10 点満点)が記入されており、novelty・technical・quality の項目は空欄のため、比較評価の根拠は示されていません。README は、非英語の音声を英語に翻訳する際は turbo ではなく多言語モデルを使うよう案内しています。このリポジトリが示す性能情報は、特定の条件下での測定値に限定されます。