Transcripción con Whisper en el iPhone, sin conexión: cómo funciona

Whisper es el modelo de reconocimiento de voz de código abierto de OpenAI, y puede funcionar por completo en un iPhone, así que puedes transcribir sin conexión a internet. Mangonote incluye un modelo Whisper multilingüe dentro de la app: cubre 99 idiomas, detecta cuál estás hablando y nunca envía tu audio a ningún sitio. Para grabaciones solo en inglés hay un modelo Whisper inglés descargable, y para algunos idiomas otro modelo en el dispositivo funciona mejor.

Aquí tienes qué es Whisper, cómo funciona en un teléfono y cómo elegir el modelo adecuado.

¿Qué es Whisper?

Whisper es un modelo de reconocimiento de voz de uso general que OpenAI publicó en septiembre de 2022 (OpenAI). Lo esencial:

• Código abierto. Su código y sus pesos del modelo se publican con licencia MIT (GitHub), así que las apps pueden ejecutarlo por su cuenta.
• Entrenado con mucho audio. 680.000 horas de datos multilingües y multitarea recogidos de la web, según el artículo de investigación Robust Speech Recognition via Large-Scale Weak Supervision.
• Multilingüe. Transcribe 99 idiomas, puede detectar el idioma por sí mismo y puede traducir la voz al inglés.
• Desigual entre idiomas. La propia documentación de OpenAI dice que el rendimiento varía mucho según el idioma. Los idiomas muy hablados y con muchos datos de entrenamiento son los que mejor funcionan.

Whisper tiene varios tamaños. Los modelos grandes son más precisos, pero más lentos y necesitan más memoria:

Fuente: openai/whisper en GitHub.

¿Puede Whisper funcionar en un iPhone sin internet?

Sí. Los modelos Whisper pequeños caben de sobra en un teléfono, y los chips de Apple pueden ejecutarlos con rapidez. Mangonote usa WhisperKit, un framework de código abierto de Argmax que ejecuta Whisper en dispositivos Apple con Core ML.

Ejecutarlo en el dispositivo tiene tres efectos prácticos:

1. Funciona sin conexión. Whisper multilingüe viene incluido en Mangonote, así que la transcripción funciona desde el primer inicio, en modo avión o en un aula en un sótano.
2. Tu audio se queda en el iPhone. No se sube para transcribirlo, ni a OpenAI ni a Mangonote. (Con la sincronización con iCloud activada, las grabaciones se guardan en tu propia cuenta de iCloud).
3. No es el Whisper más grande. Un modelo del tamaño de un teléfono cambia algo de precisión por velocidad y tamaño, en comparación con los modelos grandes que funcionan en servidores. Por eso merece la pena conocer las alternativas de abajo.

¿Cómo usar Whisper en Mangonote?

1. Abre Ajustes › Transcripción e IA › Modelo.
2. Toca Whisper multilingüe (integrado, no hay nada que descargar), o toca Descargar junto a Whisper inglés (146,7 MB) si solo grabas en inglés.
3. Vuelve atrás y toca Idioma. Elige el idioma en el que vas a hablar, o deja la Detección automática.
4. Graba con Empezar a grabar, o importa audio o vídeo con +. Las nuevas transcripciones usarán Whisper.

Más tarde puedes eliminar los modelos descargados con Editar en la misma pantalla.

Whisper frente a los otros modelos en el dispositivo

Mangonote tiene varios modelos de voz, y todos funcionan en el iPhone. Esto es lo que dice el selector de modelos de la app sobre cada uno:

Los recuentos de idiomas de Parakeet y Omnilingual vienen de sus creadores: NVIDIA describe Parakeet TDT 0.6B v3 como 25 idiomas europeos, y el ASR omnilingüe de Meta cubre más de 1.600.

Cómo elegir

• Revisa primero la lista de idiomas. Cada idioma muestra una valoración de calidad para el modelo seleccionado, desde Excelente hasta Débil. La app indica que son estimaciones basadas en pruebas publicadas con habla clara, y que las grabaciones reales varían.
• ¿Solo inglés? Prueba Whisper inglés o Parakeet.
• ¿Un idioma europeo? Parakeet es el valor predeterminado por algo; cambia a Whisper si los nombres o la jerga salen mal.
• ¿Otro idioma, o varios? Whisper multilingüe.
• ¿Un idioma que ninguno de ellos incluye? Omnilingual.

¿Qué acertó Whisper en nuestras pruebas?

Importamos tres grabaciones de muestra en Mangonote con Whisper multilingüe seleccionado: una nota de voz corta, una entrevista de dos personas y un vídeo de clase.

• Las cifras y las fechas estaban bien: «Saturday, April 12th, at 9 a.m.», «in 2019», «about 40 families», «March 2021».
• Los términos técnicos estaban en su mayoría bien: ATP, NADPH y el ciclo de Calvin salieron correctamente; «thylakoid» se escribió como «thylacoid».
• Algunas palabras se colaron: «plot fees» se convirtió en «Tlot fees», y «lead with» en «led with».
• A veces la puntuación se fundió: dos frases unidas con una coma.

Es una buena muestra de la transcripción en el dispositivo en general: muy útil, y merece una revisión rápida antes de citar o compartir.

Límites conocidos de Whisper

• Sin etiquetas de hablantes. Whisper escribe lo que se dijo, no quién lo dijo.
• A veces puede inventar texto. Investigadores han comprobado que Whisper a veces escribe palabras que nadie pronunció; la Associated Press informó sobre ello en 2024. Mangonote guarda el audio junto a cada transcripción y marca el tiempo de cada línea, para que puedas revisar cualquier cosa que parezca extraña.
• La precisión depende del idioma y de la grabación: la distancia al hablante, el ruido de fondo y las voces solapadas pesan tanto como el modelo.

Guías relacionadas

• Transcripción de voz sin conexión en el iPhone: cómo funciona Mangonote
• Cómo transcribir una entrevista
• Cómo transcribir notas de voz en el iPhone
• Cómo transcribir audio en español en el iPhone y en otros idiomas