iPhone'da Whisper ile Çevrimdışı Yazıya Dökme: Nasıl Çalışır

Whisper, OpenAI’nin açık kaynaklı konuşma tanıma modelidir ve tamamen bir iPhone üzerinde çalışabilir. Bu sayede internet bağlantısı olmadan yazıya dökme yapabilirsin. Mangonote, uygulamanın içinde çok dilli bir Whisper modeli taşır. Bu model 99 dili kapsar, hangi dili konuştuğunu algılar ve sesini hiçbir yere göndermez. Yalnızca İngilizce kayıtlar için indirilebilir bir Whisper İngilizce modeli de vardır. Bazı diller için ise başka bir cihaz üstü model daha iyi sonuç verir.

Whisper’ın ne olduğunu, bir telefonda nasıl çalıştığını ve doğru modeli nasıl seçeceğini anlatıyoruz.

Whisper nedir?

Whisper, OpenAI’nin 2022 Eylül’ünde yayımladığı genel amaçlı bir konuşma tanıma modelidir (OpenAI). Temel bilgiler şöyle:

• Açık kaynak. Kodu ve model ağırlıkları MIT lisansıyla yayımlanmıştır (GitHub). Bu sayede uygulamalar onu kendi başlarına çalıştırabilir.
• Çok fazla ses üzerinde eğitildi. Araştırma makalesine, Robust Speech Recognition via Large-Scale Weak Supervision göre web’den toplanan 680.000 saatlik çok dilli ve çok görevli veri kullanılmıştır.
• Çok dilli. 99 dili yazıya döker, dili kendisi algılayabilir ve konuşmayı İngilizceye çevirebilir.
• Dillere göre dengesiz. OpenAI’nin kendi belgelerine göre başarım dile göre büyük ölçüde değişir. Çok konuşulan ve çok eğitim verisi olan diller en iyi sonucu verir.

Whisper birkaç boyutta gelir. Büyük modeller daha doğrudur ama daha yavaştır ve daha fazla bellek gerektirir:

Kaynak: GitHub’daki openai/whisper.

Whisper internet olmadan iPhone’da çalışabilir mi?

Evet. Daha küçük Whisper modelleri telefona rahatlıkla sığar ve Apple’ın çipleri bunları hızla çalıştırabilir. Mangonote, Argmax’ın Whisper’ı Apple cihazlarında Core ML ile çalıştıran açık kaynaklı çerçevesi olan WhisperKit kullanır.

Cihaz üzerinde çalışmanın üç pratik sonucu var:

1. Çevrimdışı çalışır. Whisper Çok Dilli Mangonote ile birlikte gelir. Bu yüzden yazıya dökme ilk açılıştan itibaren, uçak modunda, bodrum katındaki bir ders salonunda bile çalışır.
2. Sesin iPhone’da kalır. Yazıya dökmek için hiçbir şey yüklenmez, ne OpenAI’ye ne de Mangonote’a. (iCloud eşzamanlaması açıksa kayıtlar kendi iCloud hesabında tutulur.)
3. En büyük Whisper değildir. Telefon boyutundaki bir model, sunucularda çalışan büyük modellere kıyasla hız ve boyut için biraz doğruluktan vazgeçer. Bu yüzden aşağıdaki alternatifleri bilmek işe yarar.

Mangonote’ta Whisper’ı nasıl kullanırsın?

1. Ayarlar › Yazıya dökme ve yapay zekâ › Model bölümünü aç.
2. Whisper Çok Dilli’ye dokun (uygulamayla birlikte gelir, indirmeye gerek yok), ya da yalnızca İngilizce kaydediyorsan Whisper İngilizce’nin yanındaki İndir’e dokun (146,7 MB).
3. Geri dön ve Dil’e dokun. Konuşacağın dili seç ya da Otomatik algıla’da bırak.
4. Kaydı Başlat ile kayıt yap ya da + ile ses veya video içe aktar. Yeni dökümler artık Whisper kullanır.

İndirdiğin modelleri daha sonra aynı ekranda Düzenle ile kaldırabilirsin.

Whisper, diğer cihaz üstü modellere karşı

Mangonote’un birkaç konuşma modeli var ve hepsi iPhone üzerinde çalışır. Uygulamanın model seçicisinin her biri hakkında söylediği şu:

Parakeet ve Omnilingual için dil sayıları üreticilerinden gelir. NVIDIA, Parakeet TDT 0.6B v3 modelini 25 Avrupa dilini kapsayan bir model olarak tanımlar. Meta’nın Omnilingual ASR ise 1.600’den fazla dili kapsar.

Nasıl seçilir

• Önce Dil listesini aç. Her dil, seçili model için Mükemmel ile Zayıf arasında bir kalite işareti gösterir. Uygulama bunların açık seste yayımlanmış ölçütlerden çıkan tahminler olduğunu, gerçek kayıtların ise farklılık gösterebileceğini belirtir.
• Yalnızca İngilizce mi? Whisper İngilizce ya da Parakeet’i dene.
• Bir Avrupa dili mi? Parakeet bir nedenle varsayılandır. Adlar ya da terimler yanlış çıkarsa Whisper’a geç.
• Başka bir dil ya da birden fazla dil mi? Whisper Çok Dilli.
• Hiçbir listede olmayan bir dil mi? Omnilingual.

Testlerimizde Whisper neyi doğru yaptı?

Mangonote’a üç örnek kayıt aktardık. Seçili model Whisper Çok Dilli’ydi: kısa bir sesli not, iki kişilik bir röportaj ve bir ders videosu.

• Sayılar ve tarihler doğruydu: “Saturday, April 12th, at 9 a.m.”, “in 2019”, “about 40 families”, “March 2021”.
• Teknik terimler çoğunlukla doğruydu: ATP, NADPH ve Calvin döngüsü doğru geldi. “thylakoid” ise “thylacoid” olarak yazıldı.
• Birkaç kelime kaydı: “plot fees” “Tlot fees” oldu, “lead with” ise “led with” oldu.
• Noktalama bazen birleşti: iki cümle virgülle bağlandı.

Bu, cihaz üzerinde yazıya dökmenin genel bir resmi: çok kullanışlı, ama alıntı yapmadan ya da paylaşmadan önce hızlıca kontrol etmeye değer.

Whisper’ın bilinen sınırları

• Konuşmacı etiketi yok. Whisper kimin konuştuğunu değil, söylenenleri yazar.
• Ara sıra metin uydurabilir. Araştırmacılar Whisper’ın bazen kimsenin söylemediği kelimeler yazdığını tespit etti. Associated Press bu konuyu 2024’te haberleştirdi. Mangonote her dökümle birlikte sesi tutar ve her satırı zaman damgalar. Böylece tuhaf görünen her şeyi kontrol edebilirsin.
• Doğruluk dile ve kayda bağlıdır. Modelin kadar konuşmacıya uzaklık, arka plan gürültüsü ve üst üste konuşmalar da önemlidir.

İlgili rehberler

• iPhone’da çevrimdışı ses yazıya dökme: Mangonote nasıl çalışır
• Bir röportaj nasıl yazıya dökülür
• iPhone’da sesli notlar nasıl yazıya dökülür
• iPhone’da İspanyolca Ses Nasıl Yazıya Dökülür (Diğer Diller de)