Transcription Whisper sur iPhone, hors ligne : comment ça marche

Whisper est le modèle de reconnaissance vocale open source d’OpenAI, et il peut tourner entièrement sur un iPhone : vous pouvez donc transcrire sans connexion internet. Mangonote intègre un modèle Whisper multilingue : il couvre 99 langues, détecte celle que vous parlez et n’envoie jamais votre audio ailleurs. Pour les enregistrements uniquement en anglais, un modèle Whisper anglais est disponible au téléchargement, et pour certaines langues, un autre modèle embarqué fait mieux.

Voici ce qu’est Whisper, comment il fonctionne sur un téléphone et comment choisir le bon modèle.

Qu’est-ce que Whisper ?

Whisper est un modèle de reconnaissance vocale polyvalent publié par OpenAI en septembre 2022 (OpenAI). Les points clés :

• Open source. Son code et ses poids de modèle sont publiés sous licence MIT (GitHub), ce qui permet aux applications de le faire tourner elles-mêmes.
• Entraîné sur une grande quantité d’audio. 680 000 heures de données multilingues et multitâches collectées sur le web, selon l’article de recherche Robust Speech Recognition via Large-Scale Weak Supervision.
• Multilingue. Il transcrit 99 langues, peut détecter lui-même la langue et peut traduire la parole en anglais.
• Inégal selon les langues. La documentation d’OpenAI indique que les performances « varient fortement selon la langue ». Les langues très parlées, avec beaucoup de données d’entraînement, obtiennent les meilleurs résultats.

Whisper existe en plusieurs tailles. Les modèles plus grands sont plus précis, mais plus lents et plus gourmands en mémoire :

Source : openai/whisper sur GitHub.

Whisper peut-il tourner sur iPhone sans internet ?

Oui. Les petits modèles Whisper tiennent sans problème sur un téléphone, et les puces d’Apple les font tourner rapidement. Mangonote utilise WhisperKit, un framework open source d’Argmax qui fait tourner Whisper sur les appareils Apple avec Core ML.

Faire tourner le modèle sur l’appareil a trois conséquences concrètes :

1. Ça fonctionne hors ligne. Whisper multilingue est intégré à Mangonote : la transcription marche dès le premier lancement, en mode avion ou dans un amphithéâtre en sous-sol.
2. Votre audio reste sur l’iPhone. Rien n’est envoyé pour être transcrit, ni à OpenAI ni à Mangonote. (Avec la synchronisation iCloud activée, les enregistrements sont conservés dans votre propre iCloud.)
3. Ce n’est pas le plus grand Whisper. Un modèle taillé pour téléphone sacrifie un peu de précision au profit de la vitesse et de la taille, par rapport aux grands modèles qui tournent sur serveurs. D’où l’intérêt de connaître les alternatives ci-dessous.

Comment utiliser Whisper dans Mangonote ?

1. Ouvrez Réglages › Transcription et IA › Modèle.
2. Touchez Whisper multilingue (intégré, rien à télécharger), ou touchez Télécharger à côté de Whisper anglais (146,7 Mo) si vous n’enregistrez qu’en anglais.
3. Revenez en arrière et touchez Langue. Choisissez la langue que vous parlerez, ou gardez Détection auto.
4. Enregistrez avec Commencer l’enregistrement, ou importez un audio ou une vidéo avec +. Les nouvelles transcriptions utilisent désormais Whisper.

Vous pourrez supprimer les modèles téléchargés plus tard avec Modifier, sur le même écran.

Whisper face aux autres modèles embarqués

Mangonote propose plusieurs modèles de reconnaissance vocale, qui tournent tous sur l’iPhone. Voici ce que dit le sélecteur de modèles de l’application pour chacun :

Les nombres de langues pour Parakeet et Omnilingual viennent de leurs créateurs : NVIDIA décrit Parakeet TDT 0.6B v3 comme couvrant 25 langues européennes, et Omnilingual ASR de Meta en couvre plus de 1 600.

Comment choisir

• Ouvrez d’abord la liste des langues. Chaque langue affiche une note de qualité pour le modèle sélectionné, de Excellent à Faible. L’application précise qu’il s’agit d’estimations issues de benchmarks publiés sur une parole claire, et que les enregistrements réels varient.
• Uniquement en anglais ? Essayez Whisper anglais ou Parakeet.
• Une langue européenne ? Parakeet est le choix par défaut pour une bonne raison ; passez à Whisper si les noms ou le jargon sont mal transcrits.
• Une autre langue, ou plusieurs langues ? Whisper multilingue.
• Une langue qu’aucun modèle ne liste ? Omnilingual.

Ce que Whisper a bien réussi lors de nos tests

Nous avons importé trois enregistrements d’essai dans Mangonote avec Whisper multilingue sélectionné : un court mémo vocal, un entretien à deux personnes et une vidéo de cours.

• Les chiffres et les dates étaient justes : « Saturday, April 12th, at 9 a.m. », « in 2019 », « about 40 families », « March 2021 ».
• Les termes techniques étaient pour la plupart justes : ATP, NADPH et le cycle de Calvin sont bien passés ; « thylakoid » a été écrit « thylacoid ».
• Quelques mots ont glissé : « plot fees » est devenu « Tlot fees », et « lead with » est devenu « led with ».
• La ponctuation était parfois fusionnée : deux phrases reliées par une virgule.

C’est une bonne image de la transcription sur l’appareil en général : très utilisable, mais qui mérite une vérification rapide avant de citer ou de partager.

Les limites connues de Whisper

• Pas d’identification des locuteurs. Whisper écrit ce qui a été dit, pas qui l’a dit.
• Il peut parfois inventer du texte. Des chercheurs ont constaté que Whisper écrit parfois des mots que personne n’a prononcés ; l’Associated Press en a rendu compte en 2024. Mangonote conserve l’audio avec chaque transcription et horodate chaque ligne, pour que vous puissiez vérifier tout passage suspect.
• La précision dépend de la langue et de l’enregistrement : la distance à la personne qui parle, le bruit de fond et les voix qui se chevauchent comptent autant que le modèle.

Guides associés

• Transcription hors ligne sur iPhone : comment fonctionne Mangonote
• Comment transcrire un entretien : guide étape par étape
• Comment transcrire ses mémos vocaux sur iPhone
• Transcrire un audio en espagnol sur iPhone (et d’autres langues)