WhisperはOpenAIのオープンソースの音声認識モデルで、iPhone上だけで動かせるため、インターネット接続なしで文字起こしできます。Mangonoteはアプリの中に多言語のWhisperモデルを内蔵しています。99言語に対応し、話している言語を検出し、音声をどこにも送りません。英語だけの録音には、ダウンロードできるWhisper Englishモデルがあり、一部の言語では、別の端末上モデルのほうが良い結果になります。
Whisperとは何か、スマートフォンでどう動くのか、どのモデルを選ぶとよいかを説明します。
Whisperとは?
Whisperは、OpenAIが2022年9月に公開した汎用の音声認識モデルです(OpenAI)。要点は次のとおりです。
- オープンソース。 コードとモデルの重みはMITライセンスで公開されている(GitHub)ので、アプリが自分で動かせます。
- 大量の音声で学習。 研究論文Robust Speech Recognition via Large-Scale Weak Supervisionによると、ウェブから集めた68万時間の多言語・マルチタスクのデータです。
- 多言語。 99言語を文字起こしでき、言語を自分で検出し、音声を英語に翻訳することもできます。
- 言語による差がある。 OpenAI自身のドキュメントでは、性能は言語によって大きく異なるとされています。学習データが多い、広く話されている言語が最も良い結果になります。
Whisperにはいくつかのサイズがあります。大きなモデルほど正確ですが、遅く、より多くのメモリが必要です。
| モデル | パラメータ数 | 英語専用版 |
|---|---|---|
| tiny | 39 M | あり |
| base | 74 M | あり |
| small | 244 M | あり |
| medium | 769 M | あり |
| large | 1,550 M | なし |
| turbo | 809 M | なし |
WhisperはiPhoneでインターネットなしに動く?
はい。小さめのWhisperモデルはスマートフォンに余裕で収まり、Appleのチップなら高速に動かせます。Mangonoteは、Argmaxが提供するオープンソースのフレームワークで、Core MLを使ってAppleのデバイスでWhisperを動かすWhisperKitを使っています。
端末上で動かすことには、実用面で3つの効果があります。
- オフラインで動きます。 Whisper MultilingualはMangonoteに同梱されているので、初回起動から、機内モードでも、地下の講義室でも文字起こしできます。
- 音声はiPhoneにとどまります。 文字起こしのために何かがアップロードされることはなく、OpenAIにもMangonoteにも送られません。(iCloud同期をオンにしている場合、録音はご自身のiCloudに保存されます。)
- 最大のWhisperではありません。 サーバーで動く大きなモデルと比べると、スマートフォン向けのモデルは、速度とサイズのために精度を少し犠牲にしています。だから、下で紹介する他のモデルを知っておく価値があります。
MangonoteでWhisperを使うには?
- 「設定 › 文字起こしとAI › モデル」を開きます。
- 「Whisper Multilingual」(内蔵、ダウンロード不要)をタップするか、英語だけで録音するなら「Whisper English」(146.7 MB)の横の「ダウンロード」をタップします。
- 戻って「言語」をタップします。話す言語を選ぶか、「自動検出」のままにします。
- 「録音を開始」で録音するか、「+」でオーディオやビデオを読み込みます。以後の新しい文字起こしにはWhisperが使われます。
ダウンロードしたモデルは、同じ画面の「編集」であとから削除できます。
Whisperと他の端末上モデルの比較
Mangonoteには複数の音声モデルがあり、すべてiPhone上で動作します。アプリのモデル選択画面での各モデルの説明は次のとおりです。
| モデル | 言語 | サイズ | 向いている用途 |
|---|---|---|---|
| Whisper Multilingual | 99言語、言語を検出 | 内蔵 | ほとんどの言語、複数言語が混在するライブラリ、古いiPhone |
| Whisper English | 英語のみ | 146.7 MB | 英語の録音。英語ではMultilingualより「少し正確」 |
| Parakeet(NVIDIA) | ヨーロッパの25言語 | 内蔵 | iPhone 12以降でのおすすめの初期設定。高速で、Neural Engineで動作 |
| Nemotron(NVIDIA) | 35言語、言語を検出 | 664.8 MB | Neural Engineでより多くの言語に対応 |
| SenseVoice | 中国語、日本語、韓国語、英語 | 237.4 MB | 東アジアの言語 |
| Omnilingual(Meta) | 最大1,600 | 365.4 MB | 他のモデルが対応しない、珍しい言語も含む言語 |
| Apple Speech | Appleが対応する言語 | iOS 26に内蔵 | iPhone自体の音声認識を使う場合 |
ParakeetとOmnilingualの言語数は、それぞれの開発元の情報によります。NVIDIAはParakeet TDT 0.6B v3がヨーロッパの25言語に対応すると説明しており、MetaのOmnilingual ASRは1,600以上に対応しています。
選び方
- まず「言語」の一覧を開きます。 選択したモデルについて、各言語に「優秀」から「弱い」までの品質の目安が表示されます。これらは、はっきりした音声での公開ベンチマークに基づく推定で、実際の録音では異なることがある、とアプリに書かれています。
- 英語だけですか? Whisper EnglishかParakeetを試してください。
- ヨーロッパの言語ですか? Parakeetが初期設定なのには理由があります。名前や専門用語が間違って出るなら、Whisperに切り替えます。
- それ以外、または複数の言語ですか? Whisper Multilingualです。
- どのモデルにも載っていない言語ですか? Omnilingualです。
テストでWhisperは何を正しく認識した?
Whisper Multilingualを選んだ状態で、3つのサンプル録音をMangonoteに読み込みました。短いボイスメモ、2人のインタビュー、講義のビデオです。
- 数字と日付は正しく認識されました:「Saturday, April 12th, at 9 a.m.」「in 2019」「about 40 families」「March 2021」。
- 専門用語はほぼ正しく認識されました: ATP、NADPH、カルビン回路は認識され、「thylakoid」は「thylacoid」と綴られました。
- いくつかの言葉は間違いました:「plot fees」は「Tlot fees」に、「lead with」は「led with」になりました。
- 句読点が1つにまとまることがありました: 2つの文がカンマでつながりました。
これは、端末上の文字起こし全般についての妥当な見方です。十分に使えますが、引用したり共有したりする前に、さっと確認する価値があります。
Whisperの既知の制限
- 話者ラベルなし。 Whisperが書くのは話された内容で、誰が話したかではありません。
- まれに、ない文章を作ってしまうことがあります。 研究者によって、Whisperが誰も話していない言葉を書くことがあると指摘されており、AP通信が2024年に報じました。Mangonoteはすべての文字起こしに音声を残し、すべての行にタイムスタンプをつけるので、おかしく見える箇所は確認できます。
- 精度は言語と録音に左右されます。 話し手との距離、背景ノイズ、同時発話は、モデルと同じくらい重要です。
関連ガイド
- iPhoneのオフライン文字起こし:Mangonoteの仕組み
- インタビューを文字起こしする方法
- iPhoneでボイスメモを文字起こしする方法
- iPhoneでスペイン語の音声を文字起こしする方法(他の言語にも対応)
よくある質問
Whisperとは何ですか?
Whisperは、OpenAIが2022年9月に公開した音声認識モデルです。コードとモデルの重みはMITライセンスのオープンソースで、68万時間の多言語音声で学習されています。
WhisperはiPhoneでインターネットなしに動きますか?
はい。小さめのWhisperモデルは、iPhone上で動かせるほどコンパクトです。MangonoteはアプリにWhisper Multilingualを内蔵しているので、初回起動からオフラインで文字起こしできます。
MangonoteでWhisperを使うと、音声がOpenAIに送られますか?
いいえ。WhisperはiPhone上で動くので、音声がOpenAIにも、Mangonoteにも、他のサービスにも送られることはありません。AI要約は別の任意の機能で、同意したあとに、文字起こしのテキストだけが選んだAIモデルに送られます。
Whisperは何言語に対応していますか?
Whisperは99言語に対応し、話されている言語を検出できます。OpenAIは、精度が言語によって大きく異なると述べています。
Whisperは無料ですか?
モデルは無料のオープンソースです。Mangonoteでは、Whisper Multilingualは内蔵、Whisper Englishは無料でダウンロードできます。アプリの無料プランには1日あたりの制限があり、Mangonote Plusで制限がなくなります。
iPhoneではWhisperとParakeetのどちらが良いですか?
言語によります。ParakeetはiPhone 12以降で、ヨーロッパの25言語に対するMangonoteのおすすめの初期設定です。Whisperは99言語に対応し、アプリが対応するすべてのiPhoneで動作します。アプリの言語の一覧に、言語ごとの各モデルの想定品質が表示されます。
