Расшифровка Whisper на iPhone без интернета: как это работает

Whisper — это открытая модель распознавания речи от OpenAI, которая может работать полностью на iPhone, поэтому расшифровка идёт без подключения к интернету. Mangonote включает многоязычную модель Whisper: она поддерживает 99 языков, определяет, на каком языке вы говорите, и никуда не отправляет ваше аудио. Для записей только на английском есть скачиваемая модель Whisper — английский, а для некоторых языков лучше справляется другая модель на устройстве.

Ниже объясняется, что такое Whisper, как он работает на телефоне и как выбрать подходящую модель.

Что такое Whisper?

Whisper — универсальная модель распознавания речи, которую OpenAI выпустила в сентябре 2022 года (OpenAI). Главное:

• Открытый код. Его код и веса моделей выпущены по лицензии MIT (GitHub), поэтому приложения могут запускать его сами.
• Обучена на большом объёме аудио. 680 000 часов многоязычных данных из интернета, по данным исследовательской статьи Robust Speech Recognition via Large-Scale Weak Supervision.
• Многоязычна. Расшифровывает 99 языков, сама определяет язык и может переводить речь на английский.
• Неравномерна по языкам. В документации самой OpenAI сказано, что качество «сильно зависит от языка». Лучше всего работают широко распространённые языки с большим объёмом обучающих данных.

У Whisper есть несколько размеров. Большие модели точнее, но медленнее и требуют больше памяти:

Источник: openai/whisper на GitHub.

Может ли Whisper работать на iPhone без интернета?

Да. Небольшие модели Whisper спокойно помещаются на телефон, а чипы Apple запускают их быстро. Mangonote использует WhisperKit, открытый фреймворк от Argmax, который запускает Whisper на устройствах Apple с помощью Core ML.

Работа на устройстве даёт три практических следствия:

1. Работает офлайн. Многоязычный Whisper встроен в Mangonote, поэтому расшифровка работает с первого запуска, в режиме «В самолёте», в лекционном зале в подвале.
2. Аудио остаётся на iPhone. Ничего не загружается для расшифровки: ни в OpenAI, ни в Mangonote. (Если синхронизация iCloud включена, записи хранятся в вашем собственном iCloud.)
3. Это не самая большая модель Whisper. Модель, подходящая для телефона, жертвует частью точности ради скорости и размера по сравнению с большими моделями на серверах. Поэтому стоит знать альтернативы ниже.

Как использовать Whisper в Mangonote?

1. Откройте Настройки › Расшифровка и ИИ › Модель.
2. Нажмите Whisper — многоязычный (встроен, ничего скачивать не нужно) или нажмите Загрузить рядом с Whisper — английский (146,7 МБ), если записываете только на английском.
3. Вернитесь назад и нажмите Язык. Выберите язык, на котором будете говорить, или оставьте Автоопределение.
4. Записывайте через Начать запись или импортируйте аудио или видео через +. Новые расшифровки теперь создаются с помощью Whisper.

Скачанные модели можно удалить позже через Изменить на том же экране.

Whisper и другие модели на устройстве

В Mangonote несколько моделей распознавания речи, и все они работают на iPhone. Вот что о каждой говорит выбор моделей в приложении:

Цифры по языкам для Parakeet и Omnilingual взяты у их разработчиков: NVIDIA описывает Parakeet TDT 0.6B v3 как охватывающую 25 европейских языков, а Omnilingual ASR от Meta: более 1 600 языков.

Как выбрать

• Сначала откройте список языков. Для каждого языка показана отметка качества выбранной модели: от Отлично до Слабо. Приложение отмечает, что это оценки по опубликованным тестам на чёткой речи, а реальные записи отличаются.
• Только английский? Попробуйте Whisper — английский или Parakeet.
• Европейский язык? Parakeet выбран по умолчанию не просто так; переключитесь на Whisper, если имена или термины распознаются неверно.
• Любой другой язык или несколько языков? Whisper — многоязычный.
• Язык, которого нет в списках? Omnilingual.

Что Whisper сделал правильно в наших тестах?

Мы импортировали в Mangonote три образца записей с выбранной моделью Whisper — многоязычный: короткую голосовую заметку, интервью с двумя собеседниками и видеолекцию.

• Цифры и даты были верными: «суббота, 12 апреля, в 9 утра», «в 2019 году», «около 40 семей», «март 2021».
• Технические термины в основном верны: ATP, NADPH и цикл Кальвина прозвучали правильно; «thylakoid» записалось как «thylacoid».
• Несколько слов соскользнули: «plot fees» стало «Tlot fees», а «lead with»: «led with».
• Знаки препинания иногда слипались: два предложения соединились запятой.

Это честная картина расшифровки на устройстве в целом: вполне пригодно, но перед цитированием или отправкой стоит быстро проверить текст.

Известные ограничения Whisper

• Нет меток говорящих. Whisper записывает, что было сказано, а не кто говорит.
• Иногда он может придумать текст. Исследователи обнаружили, что Whisper порой пишет слова, которых никто не произносил; Associated Press писало об этом в 2024 году. Mangonote хранит аудио вместе с каждой расшифровкой и ставит метку времени на каждой строке, так что вы можете проверить всё, что кажется странным.
• Точность зависит от языка и от записи: расстояние до говорящего, фоновый шум и наложение голосов важны не меньше, чем модель.

Связанные руководства

• Офлайн-расшифровка голоса на iPhone: как работает Mangonote
• Как расшифровать интервью
• Как расшифровать голосовые заметки на iPhone
• Как расшифровать испанское аудио на iPhone (и на других языках)