Whisper-Transkription auf dem iPhone, offline: So funktioniert es

Whisper ist die Open-Source-Spracherkennung von OpenAI. Sie kann vollständig auf einem iPhone laufen, sodass du ohne Internetverbindung transkribieren kannst. Mangonote bringt ein mehrsprachiges Whisper-Modell in der App mit. Es deckt 99 Sprachen ab, erkennt, welche du sprichst, und schickt dein Audio nirgendwohin. Für reine Englisch-Aufnahmen gibt es ein herunterladbares Whisper-Englisch-Modell. Für manche Sprachen schneidet ein anderes Modell auf dem Gerät besser ab.

Hier erfährst du, was Whisper ist, wie es auf einem Handy läuft und wie du das richtige Modell wählst.

Was ist Whisper?

Whisper ist ein Allzweck-Modell zur Spracherkennung, das OpenAI im September 2022 veröffentlicht hat (OpenAI). Die wichtigsten Fakten:

• Open Source. Code und Modellgewichte sind unter der MIT-Lizenz veröffentlicht (GitHub), damit Apps es selbst ausführen können.
• Mit sehr viel Audio trainiert. 680.000 Stunden mehrsprachige Daten für viele Aufgaben, aus dem Web gesammelt, laut dem Forschungspapier Robust Speech Recognition via Large-Scale Weak Supervision.
• Mehrsprachig. Es transkribiert 99 Sprachen, kann die Sprache selbst erkennen und Sprache ins Englische übersetzen.
• Ungleichmäßig zwischen Sprachen. Laut der eigenen Dokumentation von OpenAI schwankt die Leistung „stark je nach Sprache“. Weit verbreitete Sprachen mit viel Trainingsmaterial schneiden am besten ab.

Whisper gibt es in mehreren Größen. Größere Modelle sind genauer, aber langsamer und brauchen mehr Speicher:

Quelle: openai/whisper auf GitHub.

Kann Whisper ohne Internet auf einem iPhone laufen?

Ja. Die kleineren Whisper-Modelle passen bequem auf ein Telefon, und die Chips von Apple können sie schnell ausführen. Mangonote nutzt WhisperKit, ein Open-Source-Framework von Argmax, das Whisper mit Core ML auf Apple-Geräten ausführt.

Das Ausführen auf dem Gerät hat drei praktische Folgen:

1. Es funktioniert offline. Whisper mehrsprachig ist in Mangonote enthalten. Die Transkription funktioniert daher ab dem ersten Start, im Flugmodus oder im Hörsaal im Keller.
2. Dein Audio bleibt auf dem iPhone. Nichts wird zur Transkription hochgeladen, weder zu OpenAI noch zu Mangonote. (Mit eingeschalteter iCloud-Synchronisierung werden Aufnahmen in deiner eigenen iCloud gespeichert.)
3. Es ist nicht das größte Whisper-Modell. Ein Modell in Telefongröße tauscht etwas Genauigkeit gegen Geschwindigkeit und Speicherbedarf, verglichen mit den großen Modellen auf Servern. Deshalb lohnt es sich, die Alternativen unten zu kennen.

Wie nutzt du Whisper in Mangonote?

1. Öffne Einstellungen › Transkription & KI › Modell.
2. Tippe auf Whisper mehrsprachig (eingebaut, nichts herunterzuladen), oder tippe neben Whisper Englisch auf Laden (146,7 MB), wenn du nur auf Englisch aufnimmst.
3. Geh zurück und tippe auf Sprache. Wähle die Sprache, die du sprichst, oder lass Automatisch erkennen eingeschaltet.
4. Nimm mit Aufnahme starten auf oder importiere Audio oder Video mit +. Neue Transkripte nutzen dann Whisper.

Heruntergeladene Modelle kannst du später auf demselben Bildschirm mit Bearbeiten wieder entfernen.

Whisper im Vergleich zu den anderen Modellen auf dem Gerät

Mangonote hat mehrere Spracherkennungs-Modelle, und alle laufen auf dem iPhone. Das sagt die Modellauswahl der App zu jedem Modell:

Die Sprachangaben für Parakeet und Omnilingual stammen von den Herstellern: NVIDIA beschreibt Parakeet TDT 0.6B v3 als Modell für 25 europäische Sprachen, und Metas Omnilingual ASR deckt mehr als 1.600 ab.

So wählst du

• Öffne zuerst die Sprachliste. Jede Sprache zeigt eine Qualitätsbewertung für das gewählte Modell, von Ausgezeichnet bis Schwach. Die App weist darauf hin, dass dies Schätzungen aus veröffentlichten Tests mit klarer Sprache sind und echte Aufnahmen abweichen können.
• Nur Englisch? Probiere Whisper Englisch oder Parakeet.
• Eine europäische Sprache? Parakeet ist aus gutem Grund der Standard. Wechsle zu Whisper, wenn Namen oder Fachbegriffe falsch ankommen.
• Etwas anderes oder mehrere Sprachen? Whisper mehrsprachig.
• Eine Sprache, die keines der Modelle aufführt? Omnilingual.

Was hat Whisper in unseren Tests richtig gemacht?

Wir haben drei Beispielaufnahmen in Mangonote importiert, mit ausgewähltem Whisper mehrsprachig: ein kurzes Sprachmemo, ein Interview mit zwei Personen und ein Vorlesungsvideo.

• Zahlen und Daten stimmten: “Saturday, April 12th, at 9 a.m.”, “in 2019”, “about 40 families”, “March 2021”.
• Fachbegriffe stimmten größtenteils: ATP, NADPH und der Calvin-Zyklus kamen an. “thylakoid” wurde als “thylacoid” geschrieben.
• Ein paar Wörter rutschten durch: “plot fees” wurde zu “Tlot fees”, und “lead with” wurde zu “led with”.
• Die Zeichensetzung war manchmal zusammengezogen: zwei Sätze, die mit einem Komma verbunden wurden.

Das ist ein fairer Eindruck von Transkription auf dem Gerät allgemein: sehr brauchbar, aber ein kurzer Blick lohnt sich, bevor du etwas zitierst oder teilst.

Bekannte Grenzen von Whisper

• Keine Sprecherkennzeichnung. Whisper schreibt auf, was gesagt wurde, nicht wer es gesagt hat.
• Es kann gelegentlich Text erfinden. Forschende haben festgestellt, dass Whisper manchmal Wörter schreibt, die niemand gesprochen hat. Die Associated Press berichtete 2024 darüber. Mangonote speichert das Audio zusammen mit jedem Transkript und versieht jede Zeile mit einem Zeitstempel, damit du alles prüfen kannst, was seltsam wirkt.
• Die Genauigkeit hängt von der Sprache und der Aufnahme ab. Der Abstand zur sprechenden Person, Hintergrundgeräusche und gleichzeitiges Sprechen zählen genauso viel wie das Modell.

Verwandte Anleitungen

• Offline-Transkription auf dem iPhone: so funktioniert Mangonote
• Wie du ein Interview transkribierst
• Wie du Sprachmemos auf dem iPhone transkribierst
• Spanisch-Audio auf dem iPhone transkribieren (und andere Sprachen)