Whisper 是 OpenAI 开源的语音识别模型，它可以完全在 iPhone 上运行，所以你无需联网就能转写。Mangonote 在应用内置了一个多语言 Whisper 模型：它涵盖 99 种语言，能检测你说的是哪一种，并且绝不会把你的音频发送到任何地方。对于纯英语录音，有可下载的 Whisper English 模型；而对某些语言，换用另一个设备端模型效果更好。
下面介绍 Whisper 是什么、它如何在手机上运行，以及如何选对模型。
Whisper 是什么？
Whisper 是 OpenAI 于 2022 年 9 月发布的通用语音识别模型（OpenAI）。要点如下：
- 开源。 它的代码和模型权重以 MIT 许可证发布（GitHub），所以应用可以自己运行它。
- 用大量音频训练。 根据研究论文 Robust Speech Recognition via Large-Scale Weak Supervision，训练数据是从网上收集的 68 万小时多语言、多任务数据。
- 多语言。 它可转写 99 种语言，能自行检测语言，还可以把语音翻译成英语。
- 各语言表现不均。 OpenAI 自己的文档指出，其表现因语言而异，差别很大。使用人数多、训练数据丰富的语言表现最好。
Whisper 有多种大小。模型越大，越准确，但也越慢，需要的内存也越多：
| 模型 | 参数量 | 是否有纯英语版本 |
|---|---|---|
| tiny | 39 M | 有 |
| base | 74 M | 有 |
| small | 244 M | 有 |
| medium | 769 M | 有 |
| large | 1,550 M | 没有 |
| turbo | 809 M | 没有 |
Whisper 能在没有网络的 iPhone 上运行吗？
能。较小的 Whisper 模型很适合放在手机上，而 Apple 的芯片能快速运行它们。Mangonote 使用 WhisperKit，这是 Argmax 推出的开源框架，借助 Core ML 在 Apple 设备上运行 Whisper。
在设备上运行有三点实际影响：
- 可以离线使用。 Whisper Multilingual 随 Mangonote 一起打包，所以从第一次启动起就能转写，飞行模式下、地下阶梯教室里也一样。
- 你的音频留在 iPhone 上。 不会为转写而上传任何内容，不会发给 OpenAI，也不会发给 Mangonote。（开启 iCloud 同步后，录音保存在你自己的 iCloud 中。）
- 它不是最大的 Whisper。 与运行在服务器上的大模型相比，适合手机的模型用一部分准确度换取了速度和体积。所以了解下面的替代方案是值得的。
如何在 Mangonote 中使用 Whisper？
- 打开设置 › 转写与 AI › 模型。
- 点按 Whisper Multilingual（已内置，无需下载），或者如果你只录英语，就点按 Whisper English（146.7 MB）旁边的下载。
- 返回并点按语言。选择你要说的语言，或保持自动检测。
- 用开始录音录音，或用 + 导入音频或视频。新的转写文本现在会使用 Whisper。
之后你可以在同一界面上用编辑移除已下载的模型。
Whisper 与其他设备端模型对比
Mangonote 有多个语音模型，全部运行在 iPhone 上。下面是应用的模型选择器对每个模型的说明：
| 模型 | 语言 | 大小 | 适合 |
|---|---|---|---|
| Whisper Multilingual | 99 种，能检测语言 | 内置 | 大多数语言、混合语言的资料库、较旧的 iPhone |
| Whisper English | 仅英语 | 146.7 MB | 英语录音，对英语来说比 Multilingual“稍微准确一点” |
| Parakeet（NVIDIA） | 25 种欧洲语言 | 内置 | iPhone 12 及更新机型上的推荐默认选择：速度快，运行在神经网络引擎上 |
| Nemotron（NVIDIA） | 35 种，能检测语言 | 664.8 MB | 在神经网络引擎上支持更多语言 |
| SenseVoice | 中文、日语、韩语、英语 | 237.4 MB | 东亚语言 |
| Omnilingual（Meta） | 最多 1,600 种 | 365.4 MB | 其他模型未覆盖的语言，包括稀有语言 |
| Apple Speech | Apple 支持的语言 | 内置于 iOS 26 | 使用 iPhone 自带的识别功能 |
Parakeet 和 Omnilingual 的语言数量来自它们的开发方：NVIDIA 称 Parakeet TDT 0.6B v3 涵盖 25 种欧洲语言，Meta 的 Omnilingual ASR 涵盖 1,600 多种。
如何选择
- 先打开语言列表。 每种语言都会显示所选模型的质量评级，从极佳到较弱。应用说明，这些评级是根据已发布的清晰语音基准测试得出的估计，实际录音会有差异。
- 只有英语？ 试试 Whisper English 或 Parakeet。
- 是欧洲语言？ Parakeet 成为默认选择是有原因的；如果人名或专业术语识别有误，就换成 Whisper。
- 其他语言，或者有多种语言？ 选 Whisper Multilingual。
- 没有任何一个模型列出的语言？ 选 Omnilingual。
在我们的测试中，Whisper 哪些方面做对了？
我们在选用 Whisper Multilingual 的 Mangonote 中导入了三段示例录音：一条简短的语音备忘、一段两人访谈和一段讲座视频。
- 数字和日期都对了：“Saturday, April 12th, at 9 a.m.”、“in 2019”、“about 40 families”、“March 2021”。
- 专业术语大多是对的：ATP、NADPH 和 Calvin cycle 都识别出来了；“thylakoid”被拼成了”thylacoid”。
- 有几个词出错：“plot fees”变成了”Tlot fees”，“lead with”变成了”led with”。
- 标点有时被合并：两个句子被逗号连成了一句。
总体而言，这就是设备端转写的真实面貌：非常好用，在引用或分享之前值得快速检查一下。
Whisper 已知的局限
- 没有说话人标签。 Whisper 写下说了什么，而不是谁说的。
- 它偶尔会编造文字。 研究人员发现，Whisper 有时会写出没人说过的词；美联社在 2024 年报道过这一问题。Mangonote 为每份转写文本保留音频，并给每一行加上时间戳，所以你可以核对任何看起来奇怪的内容。
- 准确度取决于语言，也取决于录音：与说话人的距离、背景噪声和同时说话的影响，和模型本身一样重要。
相关指南
常见问题
Whisper 是什么？
Whisper 是 OpenAI 于 2022 年 9 月发布的语音识别模型。它的代码和模型权重以 MIT 许可证开源，并用 68 万小时的多语言音频训练而成。
Whisper 能在没有网络的 iPhone 上运行吗？
可以。较小的 Whisper 模型足够紧凑，可以直接在 iPhone 上运行。Mangonote 把 Whisper Multilingual 内置在应用里，所以从第一次启动起，转写就可以离线进行。
在 Mangonote 中使用 Whisper 会把我的音频发送给 OpenAI 吗？
不会。Whisper 运行在你的 iPhone 上，所以音频不会发送给 OpenAI、Mangonote 或任何其他服务。AI 摘要是独立且可选的，它们只会在你同意后，把转写文本发送给你所选的 AI 模型。
Whisper 支持多少种语言？
Whisper 可处理 99 种语言，并能检测所说的是哪一种。OpenAI 指出，各语言的准确度差异很大。
Whisper 免费吗？
该模型免费且开源。在 Mangonote 中，Whisper Multilingual 已内置，Whisper English 可免费下载；应用的免费版有每日限额，Mangonote Plus 没有这些限额。
在 iPhone 上，Whisper 和 Parakeet 哪个更好？
这取决于你的语言。对于 iPhone 12 及更新机型上的 25 种欧洲语言，Parakeet 是 Mangonote 推荐的默认选择。Whisper 涵盖 99 种语言，并且适用于应用支持的每一款 iPhone。应用里的语言列表会显示每个模型对每种语言的预期质量。
