Whisper-transcriptie op iPhone, offline: zo werkt het

Whisper is het open-source spraakherkenningsmodel van OpenAI, en het kan volledig op een iPhone draaien, dus je kunt transcriberen zonder internetverbinding. Mangonote bevat een meertalig Whisper-model in de app: het dekt 99 talen, herkent welke taal je spreekt, en stuurt je audio nergens naartoe. Voor opnames die alleen in het Engels zijn, is er een te downloaden Whisper Engels-model, en voor sommige talen doet een ander model op het apparaat het beter.

Hier lees je wat Whisper is, hoe het op een telefoon draait, en hoe je het juiste model kiest.

Wat is Whisper?

Whisper is een spraakherkenningsmodel voor algemeen gebruik dat OpenAI in september 2022 uitbracht (OpenAI). De belangrijkste feiten:

• Open source. De code en de modelgewichten zijn uitgebracht onder de MIT-licentie (GitHub), zodat apps het zelf kunnen draaien.
• Getraind op heel veel audio. 680.000 uur meertalige en multitask-data, verzameld van het web, volgens het onderzoeksartikel Robust Speech Recognition via Large-Scale Weak Supervision.
• Meertalig. Het transcribeert 99 talen, kan de taal zelf herkennen, en kan spraak naar het Engels vertalen.
• Ongelijk per taal. Volgens de eigen documentatie van OpenAI verschilt de prestatie sterk per taal. Veelgesproken talen met veel trainingsdata doen het het best.

Whisper komt in verschillende maten. Grotere modellen zijn nauwkeuriger, maar trager en hebben meer geheugen nodig:

Bron: openai/whisper op GitHub.

Kan Whisper op een iPhone draaien zonder internet?

Ja. De kleinere Whisper-modellen passen prima op een telefoon, en de chips van Apple kunnen ze snel draaien. Mangonote gebruikt WhisperKit, een open-source framework van Argmax dat Whisper op Apple-apparaten draait met Core ML.

Draaien op het apparaat heeft drie praktische gevolgen:

1. Het werkt offline. Whisper meertalig zit in Mangonote ingebakken, dus transcriberen werkt vanaf de eerste start, in de vliegtuigmodus, in een collegezaal in de kelder.
2. Je audio blijft op de iPhone. Er wordt niets geüpload om getranscribeerd te worden, niet naar OpenAI en niet naar Mangonote. (Met iCloud-synchronisatie aan, worden opnames in je eigen iCloud bewaard.)
3. Het is niet de grootste Whisper. Een model op telefoonformaat ruilt wat nauwkeurigheid in voor snelheid en omvang, vergeleken met de grote modellen die op servers draaien. Daarom is het de moeite waard om de alternatieven hieronder te kennen.

Hoe gebruik je Whisper in Mangonote?

1. Open Instellingen › Transcriptie & AI › Model.
2. Tik op Whisper meertalig (ingebouwd, niets te downloaden), of tik op Download naast Whisper Engels (146,7 MB) als je alleen in het Engels opneemt.
3. Ga terug en tik op Taal. Kies de taal die je spreekt, of laat Automatisch detecteren aan staan.
4. Neem op met Start opname, of importeer audio of video met +. Nieuwe transcripten gebruiken nu Whisper.

Gedownloade modellen kun je later verwijderen met Wijzig op hetzelfde scherm.

Whisper vs. de andere modellen op het apparaat

Mangonote heeft verschillende spraakmodellen, en alle draaien op de iPhone. Dit is wat de modelkiezer van de app over elk model zegt:

De aantallen talen voor Parakeet en Omnilingual komen van hun makers: NVIDIA omschrijft Parakeet TDT 0.6B v3 als 25 Europese talen, en Meta’s Omnilingual ASR dekt meer dan 1.600 talen.

Zo kies je

• Open eerst de taallijst. Elke taal toont een kwaliteitsaanduiding voor het gekozen model, van Uitstekend tot Zwak. De app zegt erbij dat dit schattingen zijn op basis van gepubliceerde benchmarks met duidelijke spraak, en dat echte opnames verschillen.
• Alleen Engels? Probeer Whisper Engels of Parakeet.
• Een Europese taal? Parakeet is de standaard om een reden; schakel over naar Whisper als namen of vaktermen verkeerd worden weergegeven.
• Iets anders, of meerdere talen? Whisper meertalig.
• Een taal die geen van de modellen noemt? Omnilingual.

Wat deed Whisper goed in onze tests?

We importeerden drie voorbeeldopnames in Mangonote met Whisper meertalig geselecteerd: een korte spraakmemo, een interview met twee personen en een collegevideo.

• Getallen en datums klopten: „Saturday, April 12th, at 9 a.m.”, „in 2019”, „about 40 families”, „March 2021”.
• Vaktermen klopten meestal: ATP, NADPH en de Calvincyclus kwamen goed door; „thylakoid” werd gespeld als „thylacoid”.
• Enkele woorden gleden uit: „plot fees” werd „Tlot fees”, en „lead with” werd „led with”.
• Leestekens liepen soms in elkaar over: twee zinnen samengevoegd met een komma.

Dat is een eerlijk beeld van transcriptie op het apparaat in het algemeen: heel bruikbaar, en de moeite waard om even na te kijken voordat je citeert of deelt.

De bekende beperkingen van Whisper

• Geen sprekerlabels. Whisper schrijft op wat er gezegd is, niet wie het zei.
• Het kan af en toe tekst verzinnen. Onderzoekers hebben gezien dat Whisper soms woorden schrijft die niemand heeft gezegd; de Associated Press berichtte erover in 2024. Mangonote bewaart de audio bij elk transcript en voorziet elke regel van een tijdstempel, zodat je alles kunt nakijken wat er vreemd uitziet.
• De nauwkeurigheid hangt af van de taal en van de opname: afstand tot de spreker, achtergrondgeluid en door elkaar praten tellen net zo zwaar mee als het model.

Gerelateerde gidsen

• Offline spraak transcriberen op iPhone: zo werkt Mangonote
• Zo transcribeer je een interview
• Zo transcribeer je spraakmemo’s op iPhone
• Spaanse audio transcriberen op iPhone (en andere talen)