Whisper це відкрита модель розпізнавання мовлення від OpenAI, яка може працювати повністю на iPhone, тож розшифровувати можна без інтернет-з’єднання. Mangonote вбудовує в застосунок багатомовну модель Whisper: вона охоплює 99 мов, визначає, якою мовою ти говориш, і ніколи нікуди не надсилає твоє аудіо. Для записів лише англійською є модель Whisper — англійська, яку можна завантажити, а для деяких мов краще працює інша модель на пристрої.
Далі про те, що таке Whisper, як він працює на телефоні і як обрати правильну модель.
Що таке Whisper?
Whisper це універсальна модель розпізнавання мовлення, яку OpenAI випустила у вересні 2022 року (OpenAI). Ключові факти:
- Відкритий код. Код і ваги моделі випущено за ліцензією MIT (GitHub), тож застосунки можуть запускати її самостійно.
- Навчено на великому обсязі аудіо. 680 000 годин багатомовних і різнотипних даних із мережі, за дослідженням Robust Speech Recognition via Large-Scale Weak Supervision.
- Багатомовна. Розшифровує 99 мов, сама визначає мову і може перекладати мовлення на англійську.
- Нерівномірна за мовами. Власна документація OpenAI каже, що продуктивність значно залежить від мови. Найкраще працюють поширені мови з великим обсягом навчальних даних.
Whisper має кілька розмірів. Більші моделі точніші, але повільніші й потребують більше пам’яті:
| Модель | Параметри | Версія лише для англійської |
|---|---|---|
| tiny | 39 млн | Так |
| base | 74 млн | Так |
| small | 244 млн | Так |
| medium | 769 млн | Так |
| large | 1 550 млн | Ні |
| turbo | 809 млн | Ні |
Джерело: openai/whisper на GitHub.
Чи може Whisper працювати на iPhone без інтернету?
Так. Менші моделі Whisper без проблем вміщаються в телефон, а чипи Apple виконують їх швидко. Mangonote використовує WhisperKit, відкритий фреймворк від Argmax, який запускає Whisper на пристроях Apple за допомогою Core ML.
Робота на пристрої має три практичні наслідки:
- Працює офлайн. Whisper — багатомовний вбудований у Mangonote, тож розшифрування працює від першого запуску, у режимі польоту, у підвальній лекційній залі.
- Твоє аудіо лишається на iPhone. Нічого не завантажується для розшифрування, ані до OpenAI, ані до Mangonote. (Якщо ввімкнено синхронізацію iCloud, записи зберігаються у твоєму власному iCloud.)
- Це не найбільша версія Whisper. Модель, яка вміщається в телефон, поступається в точності і швидкості великим моделям на серверах. Тому варто знати альтернативи, описані нижче.
Як користуватися Whisper у Mangonote?
- Відкрий Параметри › Розшифрування та ШІ › Модель.
- Натисни Whisper — багатомовний (вбудовано, нічого завантажувати не треба) або натисни Завантажити поруч із Whisper — англійська (146,7 МБ), якщо записуєш лише англійською.
- Повернись назад і натисни Мова. Обери мову, якою говоритимеш, або залиш Автовизначення.
- Записуй через Почати запис або імпортуй аудіо чи відео через +. Нові розшифровки використовуватимуть Whisper.
Завантажені моделі можна пізніше видалити кнопкою Змінити на цьому екрані.
Whisper проти інших моделей на пристрої
У Mangonote є кілька моделей мовлення, і всі вони працюють на iPhone. Ось що про кожну з них каже вибір моделі в застосунку:
| Модель | Мови | Розмір | Добре підходить для |
|---|---|---|---|
| Whisper — багатомовний | 99, визначає мову | Вбудовано | Більшості мов, бібліотек із кількома мовами, старіших iPhone |
| Whisper — англійська | Лише англійська | 146,7 МБ | Записів англійською; для англійської трохи точніша за багатомовну |
| Parakeet (NVIDIA) | 25 європейських мов | Вбудовано | Рекомендована за замовчуванням на iPhone 12 і новіших: швидка, працює на Neural Engine |
| Nemotron (NVIDIA) | 35, визначає мову | 664,8 МБ | Більше мов на Neural Engine |
| SenseVoice | Китайська, японська, корейська, англійська | 237,4 МБ | Східноазійські мови |
| Omnilingual (Meta) | До 1 600 | 365,4 МБ | Мов, яких не покривають інші моделі, зокрема рідкісних |
| Apple Speech | Мови, які підтримує Apple | Вбудовано в iOS 26 | Використання власного розпізнавання iPhone |
Кількість мов для Parakeet і Omnilingual наведено за їхніми розробниками: NVIDIA описує Parakeet TDT 0.6B v3 як модель для 25 європейських мов, а Omnilingual ASR від Meta охоплює понад 1 600 мов.
Як обрати
- Спочатку відкрий список мов. Поруч із кожною мовою видно позначку якості для обраної моделі: від Чудово до Слабо. Застосунок пояснює, що це оцінки з опублікованих тестів на чистому мовленні, а реальні записи можуть відрізнятися.
- Лише англійська? Спробуй Whisper — англійська або Parakeet.
- Європейська мова? Parakeet є стандартом не просто так; перейди на Whisper, якщо імена або терміни розпізнаються неправильно.
- Будь-яка інша мова або кілька мов? Whisper — багатомовний.
- Мови, якої немає в жодному списку? Omnilingual.
Що Whisper розпізнав добре в наших тестах?
Ми імпортували в Mangonote три прикладові записи з вибраною моделлю Whisper — багатомовний: короткий голосовий запис, інтерв’ю з двома учасниками і відеолекцію.
- Числа й дати були правильні: «Saturday, April 12th, at 9 a.m.», «in 2019», «about 40 families», «March 2021».
- Технічні терміни здебільшого правильні: ATP, NADPH і цикл Кальвіна пройшли; «thylakoid» було записано як «thylacoid».
- Кілька слів загубилися: «plot fees» стало «Tlot fees», а «lead with» стало «led with».
- Розділові знаки іноді злипалися: два речення з’єдналися комою.
Це цілком типова картина для розшифрування на пристрої: дуже придатно, але перед цитуванням чи поширенням варто швидко перевірити.
Відомі обмеження Whisper
- Немає позначок мовців. Whisper записує, що сказано, а не хто це сказав.
- Іноді він може вигадати текст. Дослідники виявили, що Whisper іноді пише слова, яких ніхто не казав; про це в 2024 році писала Associated Press. Mangonote зберігає аудіо разом із кожною розшифровкою і позначає мітками часу кожен рядок, тож ти можеш перевірити будь-що підозріле.
- Точність залежить від мови та від самого запису: відстань до мовця, фоновий шум і накладання голосів важать не менше за модель.
Пов’язані гайди
- Офлайн-розшифрування голосу на iPhone: як працює Mangonote
- Як розшифрувати інтерв’ю
- Як розшифрувати голосові записи на iPhone
- Як розшифрувати іспанське аудіо на iPhone (і інші мови)
Поширені запитання
Що таке Whisper?
Whisper це модель розпізнавання мовлення від OpenAI, випущена у вересні 2022 року. Її код і ваги моделі відкриті за ліцензією MIT, а навчали її на 680 000 годинах багатомовного аудіо.
Чи може Whisper працювати на iPhone без інтернету?
Так. Менші моделі Whisper досить компактні, щоб працювати на самому iPhone. Mangonote вбудовує Whisper — багатомовний у застосунок, тож розшифрування працює офлайн від першого запуску.
Чи надсилається моє аудіо до OpenAI, коли я користуюся Whisper у Mangonote?
Ні. Whisper працює на твоєму iPhone, тож аудіо не надсилається ані до OpenAI, ані до Mangonote, ані до інших сервісів. ШІ-підсумки окремі й необов’язкові: вони надсилають лише текст розшифровки до обраної моделі ШІ, і тільки після твоєї згоди.
Скільки мов підтримує Whisper?
Whisper розпізнає 99 мов і може визначити, якою з них говорять. OpenAI зазначає, що точність сильно залежить від мови.
Чи безкоштовний Whisper?
Модель безкоштовна і має відкритий код. У Mangonote Whisper — багатомовний вбудований, а Whisper — англійська можна безкоштовно завантажити. На безкоштовному тарифі застосунку є денні ліміти, а Mangonote Plus їх знімає.
Що краще на iPhone: Whisper чи Parakeet?
Це залежить від мови. Parakeet є рекомендованим за замовчуванням у Mangonote для 25 європейських мов на iPhone 12 і новіших. Whisper охоплює 99 мов і працює на кожному iPhone, який підтримує застосунок. У списку мов застосунку показано очікувану якість кожної моделі для кожної мови.
Почніть записувати думки, які ви постійно губите
Завантажте Mangonote, запишіть першу нотатку й погляньте, як за секунди вона стає текстом із пошуком, просто на вашому iPhone.
