Mangonote icon Mangonote

Transcrição com Whisper no iPhone, offline: como funciona

O que é o Whisper da OpenAI, como ele roda em um iPhone sem internet, quais idiomas atende e quando outro modelo no dispositivo é a escolha melhor.

7 min de leitura
Um chip branco com uma onda sonora amarela no topo e um pequeno avião amarelo voando ao redor

O Whisper é o modelo de reconhecimento de fala de código aberto da OpenAI, e pode rodar inteiro em um iPhone, então você transcreve sem conexão com a internet. O Mangonote traz um modelo Whisper multilíngue dentro do app: ele cobre 99 idiomas, detecta qual deles você está falando e nunca envia o seu áudio para lugar nenhum. Para gravações só em inglês, há um modelo Whisper inglês para baixar, e para alguns idiomas outro modelo no dispositivo tem desempenho melhor.

Veja o que é o Whisper, como ele roda em um celular e como escolher o modelo certo.

O que é o Whisper?

O Whisper é um modelo de reconhecimento de fala de uso geral que a OpenAI lançou em setembro de 2022 (OpenAI). Os pontos principais:

  • Código aberto. Seu código e os pesos do modelo são publicados sob a licença MIT (GitHub), então apps podem rodá-lo por conta própria.
  • Treinado com muito áudio. 680.000 horas de dados multilíngues e multitarefa coletados da web, segundo o artigo de pesquisa Robust Speech Recognition via Large-Scale Weak Supervision.
  • Multilíngue. Transcreve 99 idiomas, detecta o idioma sozinho e pode traduzir a fala para o inglês.
  • Desigual entre idiomas. A própria documentação da OpenAI diz que o desempenho varia bastante conforme o idioma. Idiomas muito falados, com muitos dados de treinamento, vão melhor.

O Whisper vem em vários tamanhos. Modelos maiores são mais precisos, mas mais lentos e exigem mais memória:

ModeloParâmetrosVersão só em inglês
tiny39 MSim
base74 MSim
small244 MSim
medium769 MSim
large1.550 MNão
turbo809 MNão

Fonte: openai/whisper no GitHub.

O Whisper roda em um iPhone sem internet?

Sim. Os modelos menores do Whisper cabem com folga em um celular, e os chips da Apple os executam com rapidez. O Mangonote usa o WhisperKit, um framework de código aberto da Argmax que roda o Whisper em aparelhos Apple com Core ML.

Rodar no próprio aparelho tem três efeitos práticos:

  1. Funciona offline. O Whisper multilíngue vem embutido no Mangonote, então a transcrição funciona desde o primeiro uso, no modo Avião, em um auditório no subsolo.
  2. O seu áudio fica no iPhone. Nada é enviado para ser transcrito, nem para a OpenAI, nem para o Mangonote. (Com a sincronização do iCloud ativada, as gravações ficam no seu próprio iCloud.)
  3. Não é o maior Whisper. Um modelo do tamanho de um celular troca um pouco de precisão por velocidade e tamanho, em comparação com os modelos grandes que rodam em servidores. Por isso vale conhecer as alternativas abaixo.

Como usar o Whisper no Mangonote?

  1. Abra Ajustes › Transcrição e IA › Modelo.
  2. Toque em Whisper multilíngue (já integrado, nada para baixar), ou toque em Baixar ao lado de Whisper inglês (146,7 MB) se você só grava em inglês.
  3. Volte e toque em Idioma. Escolha o idioma que você vai falar, ou mantenha a Detecção automática.
  4. Grave com Iniciar gravação, ou importe áudio ou vídeo com +. As novas transcrições passam a usar o Whisper.

Você pode remover os modelos baixados depois com Editar, na mesma tela.

A tela Modelo de transcrição do Mangonote, com Parakeet e Whisper multilíngue baixados e Whisper inglês, Nemotron, SenseVoice e Omnilingual disponíveis para download, ao lado da lista de idiomas com as classificações de qualidade

A tela Modelo de transcrição do Mangonote, com Parakeet e Whisper multilíngue baixados e Whisper inglês, Nemotron, SenseVoice e Omnilingual disponíveis para download, ao lado da lista de idiomas com as classificações de qualidade

Whisper contra os outros modelos no dispositivo

O Mangonote tem vários modelos de fala, e todos rodam no iPhone. Veja o que o seletor de modelos do app diz sobre cada um:

ModeloIdiomasTamanhoIdeal para
Whisper multilíngue99, detecta o idiomaIntegradoA maioria dos idiomas, bibliotecas com vários idiomas, iPhones mais antigos
Whisper inglêsSomente inglês146,7 MBGravações em inglês, um pouco mais preciso que o multilíngue no inglês
Parakeet (NVIDIA)25 idiomas europeusIntegradoO padrão recomendado em iPhone 12 ou mais recente: rápido, roda no Neural Engine
Nemotron (NVIDIA)35, detecta o idioma664,8 MBMais idiomas, no Neural Engine
SenseVoiceChinês, japonês, coreano, inglês237,4 MBIdiomas do Leste Asiático
Omnilingual (Meta)Até 1.600365,4 MBIdiomas que outros modelos não cobrem, inclusive os raros
Apple SpeechIdiomas compatíveis com a AppleIntegrado ao iOS 26Usar o próprio reconhecimento de fala do iPhone

Os números de idiomas do Parakeet e do Omnilingual vêm dos próprios criadores: a NVIDIA descreve o Parakeet TDT 0.6B v3 como cobrindo 25 idiomas europeus, e o Omnilingual ASR da Meta cobre mais de 1.600.

Como escolher

  • Abra a lista de idiomas primeiro. Cada idioma mostra uma marca de qualidade para o modelo selecionado, de Excelente a Fraco. O app observa que são estimativas de benchmarks publicados com fala clara, e gravações reais variam.
  • Só inglês? Experimente o Whisper inglês ou o Parakeet.
  • Um idioma europeu? O Parakeet é o padrão por um motivo; mude para o Whisper se nomes ou termos técnicos saírem errados.
  • Qualquer outro idioma, ou vários idiomas? Whisper multilíngue.
  • Um idioma que nenhum deles lista? Omnilingual.

As configurações de Transcrição e IA no Mangonote com o Whisper multilíngue selecionado como modelo, ao lado de uma transcrição de entrevista feita com o Whisper

As configurações de Transcrição e IA no Mangonote com o Whisper multilíngue selecionado como modelo, ao lado de uma transcrição de entrevista feita com o Whisper

O que o Whisper acertou nos nossos testes?

Importamos três gravações de exemplo no Mangonote com o Whisper multilíngue selecionado: um memo de voz curto, uma entrevista com duas pessoas e um vídeo de aula.

  • Números e datas estavam certos: as frases em inglês “Saturday, April 12th, at 9 a.m.” (sábado, 12 de abril, às 9h), “in 2019” (em 2019), “about 40 families” (cerca de 40 famílias) e “March 2021” (março de 2021).
  • Termos técnicos, em sua maioria, certos: ATP, NADPH e o ciclo de Calvin saíram corretos; “thylakoid” saiu como “thylacoid”.
  • Algumas palavras escorregaram: “plot fees” (taxas do lote) saiu como “Tlot fees”, e “lead with” (começar com) saiu como “led with”.
  • A pontuação às vezes se fundiu: duas frases ficaram unidas por uma vírgula.

É um retrato justo da transcrição no dispositivo em geral: bem utilizável, e vale uma checagem rápida antes de citar ou compartilhar.

Limites conhecidos do Whisper

  • Sem identificação de quem fala. O Whisper escreve o que foi dito, não quem disse.
  • Pode, ocasionalmente, inventar texto. Pesquisadores já constataram que o Whisper às vezes escreve palavras que ninguém disse; a Associated Press publicou uma reportagem sobre o assunto em 2024. O Mangonote mantém o áudio junto de cada transcrição e marca o tempo de cada linha, para que você confira qualquer coisa que pareça estranha.
  • A precisão depende do idioma e da gravação: distância de quem fala, ruído de fundo e falas sobrepostas pesam tanto quanto o modelo.

Guias relacionados

Perguntas frequentes

O que é o Whisper?

O Whisper é um modelo de reconhecimento de fala da OpenAI, lançado em setembro de 2022. Seu código e os pesos do modelo são de código aberto, sob a licença MIT, e ele foi treinado com 680.000 horas de áudio multilíngue.

O Whisper consegue rodar em um iPhone sem internet?

Sim. Os modelos menores do Whisper são compactos o bastante para rodar no próprio iPhone. O Mangonote traz o Whisper multilíngue dentro do app, então a transcrição funciona offline desde o primeiro uso.

Usar o Whisper no Mangonote envia meu áudio para a OpenAI?

Não. O Whisper roda no seu iPhone, então o áudio não é enviado para a OpenAI, para o Mangonote nem para nenhum outro serviço. Os resumos com IA são separados e opcionais: eles enviam apenas o texto da transcrição para o modelo de IA escolhido, depois que você concorda.

Quantos idiomas o Whisper suporta?

O Whisper atende 99 idiomas e consegue detectar qual deles está sendo falado. A própria OpenAI observa que a precisão varia bastante conforme o idioma.

O Whisper é gratuito?

O modelo é gratuito e de código aberto. No Mangonote, o Whisper multilíngue já vem integrado e o Whisper inglês é um download gratuito; o plano gratuito do app tem limites diários, e o Mangonote Plus remove esses limites.

No iPhone, qual é melhor: Whisper ou Parakeet?

Depende do seu idioma. O Parakeet é o padrão recomendado pelo Mangonote para 25 idiomas europeus em iPhones 12 ou mais recentes. O Whisper atende 99 idiomas e funciona em todos os iPhones compatíveis com o app. A lista de idiomas do app mostra a qualidade esperada de cada modelo por idioma.


Comece a capturar os pensamentos que você sempre perde

Baixe o Mangonote, grave sua primeira nota e veja-a virar texto pesquisável em segundos, direto no seu iPhone.