Whisper är OpenAIs taligenkänningsmodell med öppen källkod, och den kan köras helt på en iPhone, så att du kan transkribera utan internetanslutning. Mangonote har en flerspråkig Whisper-modell inbyggd i appen: den täcker 99 språk, identifierar vilket språk du talar och skickar aldrig ditt ljud någonstans. För inspelningar enbart på engelska finns en Whisper engelska-modell som går att ladda ner, och för vissa språk klarar en annan modell på enheten sig bättre.
Här är vad Whisper är, hur den körs på en telefon och hur du väljer rätt modell.
Vad är Whisper?
Whisper är en allmän taligenkänningsmodell som OpenAI släppte i september 2022 (OpenAI). De viktigaste fakta:
- Öppen källkod. Dess kod och modellvikter släpps under MIT-licensen (GitHub), så att appar kan köra den själva.
- Tränad på mycket ljud. 680 000 timmar flerspråkig och flerfunktionell data hämtad från nätet, enligt forskningsartikeln Robust Speech Recognition via Large-Scale Weak Supervision.
- Flerspråkig. Den transkriberar 99 språk, kan identifiera språket själv och kan översätta tal till engelska.
- Ojämn mellan språk. OpenAIs egen dokumentation säger att prestandan varierar kraftigt beroende på språk. Vanligt talade språk med mycket träningsdata klarar sig bäst.
Whisper finns i flera storlekar. Större modeller är mer träffsäkra men långsammare och kräver mer minne:
| Modell | Parametrar | Version enbart för engelska |
|---|---|---|
| tiny | 39 M | Ja |
| base | 74 M | Ja |
| small | 244 M | Ja |
| medium | 769 M | Ja |
| large | 1 550 M | Nej |
| turbo | 809 M | Nej |
Källa: openai/whisper på GitHub.
Kan Whisper köras på en iPhone utan internet?
Ja. De mindre Whisper-modellerna får plats bekvämt i en telefon, och Apples chip kan köra dem snabbt. Mangonote använder WhisperKit, ett ramverk med öppen källkod från Argmax som kör Whisper på Apples enheter med Core ML.
Att köra på enheten får tre praktiska följder:
- Det fungerar offline. Whisper flerspråkig följer med Mangonote, så transkriberingen fungerar från första start, i flygplansläge och i en föreläsningssal i källaren.
- Ditt ljud stannar på iPhone. Inget laddas upp för att transkriberas, varken till OpenAI eller till Mangonote. (Med iCloud-synk påslagen sparas inspelningar i ditt eget iCloud.)
- Det är inte den största Whisper-modellen. En modell i telefonformat byter lite träffsäkerhet mot hastighet och storlek, jämfört med de stora modellerna som körs på servrar. Därför är det värt att känna till alternativen nedan.
Hur använder du Whisper i Mangonote?
- Öppna Inställningar › Transkription & AI › Modell.
- Tryck på Whisper flerspråkig (inbyggd, inget att ladda ner), eller tryck på Hämta bredvid Whisper engelska (146,7 MB) om du bara spelar in på engelska.
- Gå tillbaka och tryck på Språk. Välj språket du talar, eller behåll Identifiera automatiskt.
- Spela in med Starta inspelning, eller importera ljud eller video med +. Nya transkriptioner använder nu Whisper.
Du kan ta bort nedladdade modeller senare med Redigera på samma skärm.
Whisper mot de andra modellerna på enheten
Mangonote har flera taligenkänningsmodeller, och alla körs på iPhone. Så här beskriver appens modellväljare var och en:
| Modell | Språk | Storlek | Bra för |
|---|---|---|---|
| Whisper flerspråkig | 99, identifierar språket | Inbyggd | De flesta språk, blandspråkiga bibliotek, äldre iPhone |
| Whisper engelska | Endast engelska | 146,7 MB | Engelska inspelningar, lite mer träffsäker än flerspråkig för engelska |
| Parakeet (NVIDIA) | 25 europeiska språk | Inbyggd | Rekommenderad standard på iPhone 12 och nyare: snabb, körs på Neural Engine |
| Nemotron (NVIDIA) | 35, identifierar språket | 664,8 MB | Fler språk på Neural Engine |
| SenseVoice | Kinesiska, japanska, koreanska, engelska | 237,4 MB | Östasiatiska språk |
| Omnilingual (Meta) | Upp till 1 600 | 365,4 MB | Språk som andra modeller inte täcker, även sällsynta |
| Apple Speech | Apples språk som stöds | Inbyggd i iOS 26 | Använda iPhone:ns egen igenkänning |
Antalet språk för Parakeet och Omnilingual kommer från tillverkarna: NVIDIA beskriver Parakeet TDT 0.6B v3 som täckande 25 europeiska språk, och Metas Omnilingual ASR täcker mer än 1 600.
Så väljer du
- Öppna språklistan först. Varje språk visar en kvalitetsmarkering för den valda modellen, från Utmärkt till Svag. Appen anger att det är uppskattningar från publicerade mätningar på tydligt tal, och att verkliga inspelningar varierar.
- Bara engelska? Prova Whisper engelska eller Parakeet.
- Ett europeiskt språk? Parakeet är standarden av en anledning; byt till Whisper om namn eller facktermer blir fel.
- Något annat, eller flera språk? Whisper flerspråkig.
- Ett språk ingen av dem listar? Omnilingual.
Vad fick Whisper rätt i våra tester?
Vi importerade tre exempelinspelningar till Mangonote med Whisper flerspråkig vald: ett kort röstmemo, en intervju med två personer och en föreläsningsvideo.
- Siffror och datum stämde: “Saturday, April 12th, at 9 a.m.”, “in 2019”, “about 40 families”, “March 2021”.
- Facktermer stämde mestadels: ATP, NADPH och Calvin-cykeln kom med; “thylakoid” stavades “thylacoid”.
- Några ord gled förbi: “plot fees” blev “Tlot fees”, och “lead with” blev “led with”.
- Skiljetecken slogs ibland ihop: två meningar sammanfogade med ett kommatecken.
Det är en rättvis bild av transkribering på enheten i allmänhet: mycket användbar, och värd en snabb kontroll innan du citerar eller delar något.
Whisper-modellens kända begränsningar
- Inga talarmarkeringar. Whisper skriver vad som sades, inte vem som sa det.
- Den kan ibland hitta på text. Forskare har visat att Whisper ibland skriver ord som ingen sa, och Associated Press rapporterade om det 2024. Mangonote behåller ljudet tillsammans med varje transkription och tidsstämplar varje rad, så att du kan kontrollera allt som ser konstigt ut.
- Träffsäkerheten beror på språket och på inspelningen: avståndet till talaren, bakgrundsljud och överlappande tal spelar lika stor roll som modellen.
Relaterade guider
- Offline röstranskribering på iPhone: så fungerar Mangonote
- Så transkriberar du en intervju
- Så transkriberar du röstmemon på iPhone
- Så transkriberar du spanskt ljud på iPhone (och andra språk)
Vanliga frågor
Vad är Whisper?
Whisper är en taligenkänningsmodell från OpenAI, släppt i september 2022. Dess kod och modellvikter är öppen källkod under MIT-licensen, och modellen tränades på 680 000 timmar flerspråkigt ljud.
Kan Whisper köras på en iPhone utan internet?
Ja. De mindre Whisper-modellerna är tillräckligt kompakta för att köras på själva iPhone. Mangonote har Whisper flerspråkig inbyggd i appen, så transkriberingen fungerar offline från första start.
Skickar användningen av Whisper i Mangonote mitt ljud till OpenAI?
Nej. Whisper körs på din iPhone, så ljudet skickas varken till OpenAI, Mangonote eller någon annan tjänst. AI-sammanfattningar är separata och valfria; de skickar bara transkriptionens text till den AI-modell du väljer, och först efter att du har godkänt det.
Hur många språk stöder Whisper?
Whisper hanterar 99 språk och kan själv identifiera vilket språk som talas. OpenAI noterar att träffsäkerheten varierar kraftigt mellan språk.
Är Whisper gratis?
Modellen är gratis och öppen källkod. I Mangonote är Whisper flerspråkig inbyggd och Whisper engelska är en gratis nedladdning. Appens gratisplan har dagliga gränser, och Mangonote Plus tar bort dem.
Vilken är bäst på iPhone, Whisper eller Parakeet?
Det beror på språket. Parakeet är Mangonotes rekommenderade standard för 25 europeiska språk på iPhone 12 och nyare. Whisper täcker 99 språk och fungerar på varje iPhone som appen stöder. Språklistan i appen visar förväntad kvalitet för varje modell och språk.
Börja fånga de tankar du ständigt tappar bort
Hämta Mangonote, spela in din första anteckning och se den bli sökbar text på några sekunder, direkt på din iPhone.
