Whisper 是 OpenAI 的開放原始碼語音辨識模型，可以完全在 iPhone 上執行，所以你不用網路連線就能轉錄。Mangonote 在 App 內建了多語言 Whisper 模型：涵蓋 99 種語言，能偵測你說的是哪一種，而且絕不會把你的音訊傳到任何地方。如果只錄英文，可以下載 Whisper English 模型；某些語言則是其他裝置端模型表現更好。
下面說明 Whisper 是什麼、它如何在手機上執行，以及如何挑選合適的模型。
Whisper 是什麼？
Whisper 是 OpenAI 在 2022 年 9 月發布的通用語音辨識模型（OpenAI）。重點如下：
- 開放原始碼。 其程式碼和模型權重以 MIT 授權發布（GitHub），所以 App 可以自己執行它。
- 以大量音訊訓練。 根據研究論文 Robust Speech Recognition via Large-Scale Weak Supervision，使用了從網路蒐集的 68 萬小時多語言、多任務資料。
- 多語言。 它可轉錄 99 種語言，能自行偵測語言，也可以把語音翻譯成英文。
- 各語言表現不一。 OpenAI 自己的文件說，效能「因語言而異，差距很大」。使用人數多、訓練資料充足的語言表現最好。
Whisper 有好幾種大小。較大的模型更準確，但速度較慢，也需要更多記憶體：
| 模型 | 參數量 | 是否有純英文版本 |
|---|---|---|
| tiny | 39 M | 有 |
| base | 74 M | 有 |
| small | 244 M | 有 |
| medium | 769 M | 有 |
| large | 1,550 M | 無 |
| turbo | 809 M | 無 |
資料來源：GitHub 上的 openai/whisper。
Whisper 可以在沒有網路的 iPhone 上執行嗎？
可以。較小的 Whisper 模型很適合放在手機上，而 Apple 的晶片可以快速執行它們。Mangonote 使用 WhisperKit，這是 Argmax 推出的開放原始碼框架，可透過 Core ML 在 Apple 裝置上執行 Whisper。
在裝置上執行有三個實際的影響：
- 可離線使用。 Whisper Multilingual 內建於 Mangonote，所以第一次開啟就能轉錄，在飛航模式下、在地下室的大教室裡都行。
- 你的音訊留在 iPhone 上。 不會為了轉錄而上傳任何內容，不論是給 OpenAI 還是 Mangonote。（開啟 iCloud 同步後，錄音會保存在你自己的 iCloud。）
- 它不是最大的 Whisper。 和在伺服器上執行的大型模型相比，手機規格的模型為了速度和大小，犧牲了一些準確度。所以值得了解下面的其他選擇。
如何在 Mangonote 使用 Whisper？
- 開啟「設定 › 轉錄與 AI › 模型」。
- 點一下「Whisper Multilingual」（內建，不需要下載），或如果你只錄英文，點一下「Whisper English」旁邊的「下載」（146.7 MB）。
- 返回並點一下「語言」。選擇你要說的語言，或保持「自動偵測」。
- 用「開始錄音」錄音，或用 + 匯入音訊或影片。新的逐字稿就會使用 Whisper。
之後你可以用同一個畫面上的「編輯」移除已下載的模型。
Whisper 與其他裝置端模型的比較
Mangonote 有多個語音模型，全都在 iPhone 上執行。以下是 App 的模型選擇器對各模型的說明：
| 模型 | 語言 | 大小 | 適合 |
|---|---|---|---|
| Whisper Multilingual | 99 種，能偵測語言 | 內建 | 大多數語言、混合語言的資料庫、較舊的 iPhone |
| Whisper English | 僅英文 | 146.7 MB | 英文錄音，處理英文時比 Multilingual「稍微準確一點」 |
| Parakeet（NVIDIA） | 25 種歐洲語言 | 內建 | iPhone 12 及更新機型的推薦預設值：速度快，在 Neural Engine 上執行 |
| Nemotron（NVIDIA） | 35 種，能偵測語言 | 664.8 MB | 在 Neural Engine 上支援更多語言 |
| SenseVoice | 中文、日文、韓文、英文 | 237.4 MB | 東亞語言 |
| Omnilingual（Meta） | 最多 1,600 種 | 365.4 MB | 其他模型沒有涵蓋的語言，包括罕見語言 |
| Apple Speech | Apple 支援的語言 | 內建於 iOS 26 | 使用 iPhone 自己的辨識功能 |
Parakeet 和 Omnilingual 的語言數量來自它們的開發者：NVIDIA 說明 Parakeet TDT 0.6B v3 涵蓋 25 種歐洲語言，Meta 的 Omnilingual ASR 則涵蓋超過 1,600 種。
如何挑選
- 先打開語言清單。 每種語言都會顯示所選模型的品質標示，從「極佳」到「較弱」。App 註明這些是根據已發表的基準測試，在清晰語音上得出的估計值，實際錄音的表現會有所不同。
- 只有英文？ 試試 Whisper English 或 Parakeet。
- 歐洲語言？ Parakeet 成為預設值是有原因的；如果人名或專業術語轉得不對，就改用 Whisper。
- 其他語言，或同時有多種語言？ Whisper Multilingual。
- 清單上沒有的語言？ Omnilingual。
我們的測試中，Whisper 轉對了什麼？
我們在選擇 Whisper Multilingual 的情況下，把三段範例錄音匯入 Mangonote：一則簡短的語音備忘錄、一段兩人訪談，以及一支課程影片。
- 數字和日期都對了：「Saturday, April 12th, at 9 a.m.」、「in 2019」、「about 40 families」、「March 2021」。
- 專業術語大多正確：ATP、NADPH 和卡爾文循環都正確呈現；「thylakoid」被拼成「thylacoid」。
- 有幾個字出錯：「plot fees」變成「Tlot fees」，「lead with」變成「led with」。
- 標點有時會被合併：兩個句子被用逗號連在一起。
這大致反映了裝置端轉錄的整體情況：非常實用，而且在引用或分享之前值得快速檢查。
Whisper 已知的限制
- 沒有講者標籤。 Whisper 寫下說了什麼，而不是誰說的。
- 偶爾會捏造文字。 研究人員發現 Whisper 有時會寫出沒人說過的字；美聯社在 2024 年報導過這件事。Mangonote 會為每份逐字稿保留音訊，並為每一行加上時間戳記，所以你可以檢查任何看起來怪怪的地方。
- 準確度取決於語言以及錄音本身：與說話者的距離、背景噪音和同時說話的影響，和模型一樣重要。
相關教學
常見問題
Whisper 是什麼？
Whisper 是 OpenAI 在 2022 年 9 月發布的語音辨識模型。它的程式碼和模型權重以 MIT 授權開放原始碼，並以 68 萬小時的多語言音訊訓練而成。
Whisper 可以在沒有網路的 iPhone 上執行嗎？
可以。較小的 Whisper 模型夠精簡，可以直接在 iPhone 上執行。Mangonote 把 Whisper Multilingual 內建在 App 中，所以第一次開啟就能離線轉錄。
在 Mangonote 使用 Whisper 會把我的音訊傳給 OpenAI 嗎？
不會。Whisper 在你的 iPhone 上執行，所以音訊不會傳送給 OpenAI、Mangonote 或任何其他服務。AI 摘要是獨立且選用的；它們只會在你同意後，把逐字稿文字傳給你選擇的 AI 模型。
Whisper 支援多少種語言？
Whisper 可處理 99 種語言，並能偵測說的是哪一種。OpenAI 指出各語言的準確度差異很大。
Whisper 免費嗎？
模型本身免費且開放原始碼。在 Mangonote 中，Whisper Multilingual 已內建，Whisper English 可免費下載；App 的免費方案有每日限制，Mangonote Plus 則沒有限制。
在 iPhone 上，Whisper 和 Parakeet 哪個比較好？
這取決於你的語言。Parakeet 是 Mangonote 在 iPhone 12 及更新機型上，針對 25 種歐洲語言推薦的預設模型。Whisper 涵蓋 99 種語言，並可在 App 支援的每一款 iPhone 上運作。App 中的語言清單會顯示每個模型在各語言上的預期品質。
