Trascrizione Whisper su iPhone, offline: come funziona

Whisper è il modello di riconoscimento vocale open source di OpenAI, e può girare interamente su iPhone, quindi puoi trascrivere senza una connessione internet. Mangonote include nell’app un modello Whisper multilingue: copre 99 lingue, riconosce quale stai parlando e non invia mai il tuo audio da nessuna parte. Per le registrazioni solo in inglese c’è un modello Whisper English scaricabile, e per alcune lingue un altro modello sul dispositivo dà risultati migliori.

Ecco che cos’è Whisper, come gira su un telefono e come scegliere il modello giusto.

Che cos’è Whisper?

Whisper è un modello di riconoscimento vocale generico che OpenAI ha rilasciato a settembre 2022 (OpenAI). I dati principali:

• Open source. Il suo codice e i pesi del modello sono rilasciati sotto licenza MIT (GitHub), quindi le app possono eseguirlo autonomamente.
• Addestrato su moltissimo audio. 680.000 ore di dati multilingue e multitask raccolti dal web, secondo l’articolo di ricerca Robust Speech Recognition via Large-Scale Weak Supervision.
• Multilingue. Trascrive 99 lingue, riconosce da solo la lingua e può tradurre il parlato in inglese.
• Non uniforme tra le lingue. La documentazione stessa di OpenAI dice che le prestazioni variano molto a seconda della lingua. Le lingue molto diffuse e con molti dati di addestramento vanno meglio.

Whisper esiste in diverse dimensioni. I modelli più grandi sono più precisi, ma più lenti e richiedono più memoria:

Fonte: openai/whisper su GitHub.

Whisper può girare su iPhone senza internet?

Sì. I modelli Whisper più piccoli stanno comodamente su un telefono, e i chip Apple li eseguono rapidamente. Mangonote usa WhisperKit, un framework open source di Argmax che fa girare Whisper sui dispositivi Apple con Core ML.

Far girare il modello sul dispositivo ha tre effetti pratici:

1. Funziona offline. Whisper Multilingual è incluso in Mangonote, quindi la trascrizione funziona fin dal primo avvio, in modalità aereo, in un’aula sotterranea.
2. Il tuo audio resta sull’iPhone. Nulla viene caricato per essere trascritto, né verso OpenAI né verso Mangonote. (Con la sincronizzazione iCloud attiva, le registrazioni restano nel tuo iCloud.)
3. Non è il Whisper più grande. Un modello delle dimensioni di un telefono sacrifica un po’ di precisione in cambio di velocità e dimensioni, rispetto ai modelli grandi che girano sui server. Per questo vale la pena conoscere le alternative qui sotto.

Come usi Whisper in Mangonote?

1. Apri Impostazioni › Trascrizione e IA › Modello.
2. Tocca Whisper Multilingual (integrato, nulla da scaricare), oppure tocca Scarica accanto a Whisper English (146,7 MB) se registri solo in inglese.
3. Torna indietro e tocca Lingua. Scegli la lingua in cui parlerai, oppure lascia attivo Rilevamento automatico.
4. Registra con Inizia a registrare, oppure importa audio o video con +. Le nuove trascrizioni ora usano Whisper.

Puoi rimuovere i modelli scaricati in seguito con Modifica nella stessa schermata.

Whisper contro gli altri modelli sul dispositivo

Mangonote ha diversi modelli di riconoscimento vocale, e tutti girano sull’iPhone. Ecco cosa dice il selettore dei modelli dell’app su ciascuno:

I numeri di lingue per Parakeet e Omnilingual vengono dai loro creatori: NVIDIA descrive Parakeet TDT 0.6B v3 come capace di coprire 25 lingue europee, e l’Omnilingual ASR di Meta copre più di 1.600 lingue.

Come scegliere

• Apri per primo l’elenco delle lingue. Ogni lingua mostra un indicatore di qualità per il modello selezionato, da Eccellente a Scarso. L’app precisa che si tratta di stime basate su benchmark pubblicati con parlato chiaro, e le registrazioni reali variano.
• Solo inglese? Prova Whisper English o Parakeet.
• Una lingua europea? Parakeet è il default per un motivo; passa a Whisper se nomi o termini tecnici vengono riportati male.
• Qualsiasi altra lingua, o più lingue? Whisper Multilingual.
• Una lingua che nessuno di questi elenca? Omnilingual.

Che cosa ha fatto bene Whisper nei nostri test?

Abbiamo importato in Mangonote tre registrazioni di esempio con Whisper Multilingual selezionato: un breve memo vocale, un’intervista a due persone e un video di lezione.

• Numeri e date erano giusti: “Saturday, April 12th, at 9 a.m.”, “in 2019”, “about 40 families”, “March 2021”.
• I termini tecnici erano per lo più giusti: ATP, NADPH e il ciclo di Calvin sono usciti bene; “thylakoid” era scritto “thylacoid”.
• Qualche parola è sfuggita: “plot fees” è diventato “Tlot fees”, e “lead with” è diventato “led with”.
• La punteggiatura a volte si è fusa: due frasi unite da una virgola.

È un quadro onesto della trascrizione sul dispositivo in generale: molto utile, e da controllare velocemente prima di citare o condividere.

I limiti noti di Whisper

• Nessuna etichetta dei parlanti. Whisper scrive ciò che è stato detto, non chi lo ha detto.
• A volte può inventare testo. I ricercatori hanno scoperto che Whisper talvolta scrive parole che nessuno ha pronunciato; l’Associated Press ne ha riferito nel 2024. Mangonote conserva l’audio con ogni trascrizione e segna il timestamp di ogni riga, così puoi controllare qualsiasi punto sospetto.
• La precisione dipende dalla lingua e dalla registrazione: la distanza da chi parla, il rumore di fondo e le sovrapposizioni contano quanto il modello.

Guide correlate

• Trascrizione vocale offline su iPhone: come funziona Mangonote
• Come trascrivere un’intervista
• Come trascrivere i memo vocali su iPhone
• Come trascrivere un audio in spagnolo su iPhone (e in altre lingue)