Transkrypcja Whisper na iPhone, offline: jak to działa

Whisper to model rozpoznawania mowy o otwartym kodzie od OpenAI, który może działać w całości na iPhone, więc możesz transkrybować bez połączenia z internetem. Mangonote ma wbudowany wielojęzyczny model Whisper: obsługuje 99 języków, rozpoznaje, którym mówisz, i nigdzie nie wysyła audio. Do nagrań wyłącznie po angielsku jest do pobrania model Whisper angielski, a dla niektórych języków lepiej sprawdza się inny model działający na urządzeniu.

Poniżej: czym jest Whisper, jak działa na telefonie i jak wybrać właściwy model.

Czym jest Whisper?

Whisper to uniwersalny model rozpoznawania mowy, który OpenAI wydało we wrześniu 2022 roku (OpenAI). Najważniejsze fakty:

• Open source. Kod i wagi modelu są udostępnione na licencji MIT (GitHub), więc aplikacje mogą uruchamiać go samodzielnie.
• Trenowany na dużej ilości audio. 680 000 godzin wielojęzycznych i wielozadaniowych danych zebranych z sieci, według pracy naukowej Robust Speech Recognition via Large-Scale Weak Supervision.
• Wielojęzyczny. Transkrybuje 99 języków, sam rozpoznaje język i potrafi tłumaczyć mowę na angielski.
• Nierówny między językami. Własna dokumentacja OpenAI mówi, że wydajność „bardzo się różni w zależności od języka”. Najlepiej radzą sobie szeroko używane języki z dużą ilością danych treningowych.

Whisper występuje w kilku rozmiarach. Większe modele są dokładniejsze, ale wolniejsze i wymagają więcej pamięci:

Źródło: openai/whisper na GitHubie.

Czy Whisper może działać na iPhone bez internetu?

Tak. Mniejsze modele Whisper mieszczą się na telefonie bez problemu, a układy Apple uruchamiają je szybko. Mangonote korzysta z WhisperKit, otwartej platformy od Argmax, która uruchamia Whisper na urządzeniach Apple z użyciem Core ML.

Działanie na urządzeniu ma trzy praktyczne skutki:

1. Działa offline. Whisper wielojęzyczny jest wbudowany w Mangonote, więc transkrypcja działa od pierwszego uruchomienia, w trybie samolotowym, na wykładzie w piwnicy.
2. Twoje audio zostaje na iPhone. Nic nie jest wysyłane do transkrypcji, ani do OpenAI, ani do Mangonote. (Przy włączonej synchronizacji iCloud nagrania są przechowywane w Twoim własnym iCloud.)
3. To nie jest największy Whisper. Model dopasowany do telefonu wymienia część dokładności na szybkość i rozmiar w porównaniu z dużymi modelami na serwerach. Dlatego warto znać alternatywy opisane poniżej.

Jak używać Whisper w Mangonote?

1. Otwórz Ustawienia › Transkrypcja i AI › Model.
2. Stuknij Whisper wielojęzyczny (wbudowany, nic nie trzeba pobierać) albo Pobierz przy Whisper angielski (146.7 MB), jeśli nagrywasz tylko po angielsku.
3. Wróć i stuknij Język. Wybierz język, którym będziesz mówić, albo zostaw Wykryj automatycznie.
4. Nagrywaj przyciskiem Rozpocznij nagrywanie albo importuj audio lub wideo przyciskiem +. Nowe transkrypcje będą korzystać z Whisper.

Pobrane modele możesz usunąć później przyciskiem Edytuj na tym samym ekranie.

Whisper a inne modele działające na urządzeniu

Mangonote ma kilka modeli mowy i wszystkie działają na iPhone. Tak opisuje je wybór modelu w aplikacji:

Liczby języków dla Parakeet i Omnilingual pochodzą od twórców: NVIDIA opisuje Parakeet TDT 0.6B v3 jako obejmujący 25 języków europejskich, a Omnilingual ASR firmy Meta obejmuje ponad 1600 języków.

Jak wybrać

• Najpierw otwórz listę języków. Każdy język pokazuje ocenę jakości dla wybranego modelu, od Doskonała do Słaba. Aplikacja zaznacza, że są to szacunki z opublikowanych testów na czystej mowie, a prawdziwe nagrania mogą się różnić.
• Tylko angielski? Wypróbuj Whisper angielski lub Parakeet.
• Język europejski? Parakeet jest domyślny z jakiegoś powodu; przełącz na Whisper, jeśli imiona lub branżowe słowa wychodzą źle.
• Inny język albo kilka języków? Whisper wielojęzyczny.
• Język, którego żaden z nich nie wymienia? Omnilingual.

Co Whisper dobrze wychwycił w naszych testach?

Zaimportowaliśmy do Mangonote trzy przykładowe nagrania z wybranym Whisper wielojęzycznym: krótką notatkę głosową, wywiad z dwiema osobami i wideo z wykładu.

• Liczby i daty były poprawne: „sobota, 12 kwietnia, o 9 rano”, „w 2019”, „około 40 rodzin”, „marzec 2021”.
• Terminy techniczne były w większości poprawne: ATP, NADPH i cykl Calvina przeszły; „thylakoid” zapisało się jako „thylacoid”.
• Kilka słów się pomyliło: „plot fees” stało się „Tlot fees”, a „lead with” stało się „led with”.
• Interpunkcja czasem się zlewała: dwa zdania połączone przecinkiem.

To rzetelny obraz transkrypcji na urządzeniu w ogóle: bardzo użyteczna, ale warta szybkiego sprawdzenia, zanim zacytujesz ją lub udostępnisz.

Znane ograniczenia Whisper

• Brak podpisów mówców. Whisper zapisuje, co powiedziano, a nie kto to powiedział.
• Czasem dopisuje tekst. Badacze zauważyli, że Whisper czasem zapisuje słowa, których nikt nie wypowiedział; Associated Press pisał o tym w 2024 roku. Mangonote trzyma audio przy każdej transkrypcji i znakuje każdy wiersz czasem, więc możesz sprawdzić wszystko, co wygląda podejrzanie.
• Dokładność zależy od języka i od nagrania: odległość od mówcy, hałas tła i nakładanie się głosów mają równie duże znaczenie jak model.

Powiązane poradniki

• Transkrypcja głosu offline na iPhone: jak działa Mangonote
• Jak zrobić transkrypcję wywiadu
• Jak przetranskrybować notatki głosowe na iPhone
• Transkrypcja hiszpańskich nagrań na iPhonie (i innych języków)