Transkripsi Whisper di iPhone, Offline: Cara Kerjanya

Whisper adalah model pengenalan ucapan open source dari OpenAI, dan ia bisa berjalan sepenuhnya di iPhone, sehingga kamu bisa mentranskripsi tanpa koneksi internet. Mangonote menyertakan model Whisper multibahasa di dalam aplikasi: ia mencakup 99 bahasa, mendeteksi bahasa yang kamu ucapkan, dan tidak pernah mengirim audiomu ke mana pun. Untuk rekaman yang hanya berbahasa Inggris tersedia model Whisper Inggris yang bisa diunduh, dan untuk beberapa bahasa, model lain di perangkat bekerja lebih baik.

Berikut penjelasan apa itu Whisper, cara ia berjalan di ponsel, dan cara memilih model yang tepat.

Apa itu Whisper?

Whisper adalah model pengenalan ucapan serbaguna yang dirilis OpenAI pada September 2022 (OpenAI). Fakta-fakta kuncinya:

• Open source. Kode dan bobot modelnya dirilis di bawah lisensi MIT (GitHub), sehingga aplikasi bisa menjalankannya sendiri.
• Dilatih dengan banyak audio. 680.000 jam data multibahasa dan multitugas yang dikumpulkan dari web, menurut makalah penelitian Robust Speech Recognition via Large-Scale Weak Supervision.
• Multibahasa. Ia mentranskripsi 99 bahasa, bisa mendeteksi bahasanya sendiri, dan bisa menerjemahkan ucapan ke bahasa Inggris.
• Tidak merata antarbahasa. Dokumentasi OpenAI sendiri menyebutkan bahwa performanya “varies widely depending on the language”. Bahasa yang banyak digunakan dan memiliki banyak data latih berkinerja paling baik.

Whisper hadir dalam beberapa ukuran. Model yang lebih besar lebih akurat, tetapi lebih lambat dan membutuhkan memori lebih banyak:

Sumber: openai/whisper di GitHub.

Bisakah Whisper berjalan di iPhone tanpa internet?

Bisa. Model Whisper yang lebih kecil cukup ringkas untuk ponsel, dan chip Apple bisa menjalankannya dengan cepat. Mangonote menggunakan WhisperKit, kerangka kerja open source dari Argmax yang menjalankan Whisper di perangkat Apple dengan Core ML.

Berjalan di perangkat punya tiga efek praktis:

1. Bisa offline. Whisper Multibahasa disertakan dengan Mangonote, sehingga transkripsi bekerja sejak pertama kali dibuka: dalam mode pesawat, di ruang kuliah bawah tanah.
2. Audiomu tetap di iPhone. Tidak ada yang diunggah untuk ditranskripsi, tidak ke OpenAI dan tidak ke Mangonote. (Jika sinkronisasi iCloud aktif, rekaman disimpan di iCloud milikmu sendiri.)
3. Ini bukan Whisper yang paling besar. Model seukuran ponsel menukar sebagian akurasi dengan kecepatan dan ukuran, dibandingkan model besar yang berjalan di server. Itu sebabnya penting mengetahui alternatif di bawah ini.

Bagaimana cara memakai Whisper di Mangonote?

1. Buka Pengaturan › Transkripsi & AI › Model.
2. Ketuk Whisper Multibahasa (sudah terpasang, tidak perlu diunduh), atau ketuk Unduh di sebelah Whisper Inggris (146,7 MB) jika kamu hanya merekam dalam bahasa Inggris.
3. Kembali dan ketuk Bahasa. Pilih bahasa yang akan kamu ucapkan, atau biarkan Deteksi otomatis.
4. Rekam dengan Mulai Merekam, atau impor audio atau video dengan +. Transkrip baru sekarang menggunakan Whisper.

Kamu bisa menghapus model yang sudah diunduh nanti dengan Edit di layar yang sama.

Whisper vs. model lain di perangkat

Mangonote memiliki beberapa model ucapan, dan semuanya berjalan di iPhone. Berikut yang ditampilkan pemilih model aplikasi untuk masing-masing:

Jumlah bahasa untuk Parakeet dan Omnilingual berasal dari pembuatnya: NVIDIA menggambarkan Parakeet TDT 0.6B v3 mencakup 25 bahasa Eropa, dan Omnilingual ASR dari Meta mencakup lebih dari 1.600.

Cara memilih

• Buka daftar Bahasa terlebih dahulu. Setiap bahasa menampilkan tanda kualitas untuk model yang dipilih, dari Sangat baik hingga Lemah. Aplikasi menyebutkan bahwa ini adalah perkiraan dari benchmark yang dipublikasikan untuk ucapan yang jelas, dan rekaman sungguhan bisa berbeda.
• Hanya bahasa Inggris? Coba Whisper Inggris atau Parakeet.
• Bahasa Eropa? Parakeet adalah default karena alasan yang kuat; beralihlah ke Whisper jika nama atau istilah teknis keluar dengan salah.
• Bahasa lain, atau beberapa bahasa? Whisper Multibahasa.
• Bahasa yang tidak ada di daftar mana pun? Omnilingual.

Apa yang berhasil ditangkap Whisper dalam uji kami?

Kami mengimpor tiga rekaman contoh ke Mangonote dengan Whisper Multibahasa dipilih: memo suara pendek, wawancara dua orang, dan video kuliah.

• Angka dan tanggal benar: “Saturday, April 12th, at 9 a.m.”, “in 2019”, “about 40 families”, “March 2021”.
• Istilah teknis sebagian besar benar: ATP, NADPH, dan siklus Calvin muncul dengan benar; “thylakoid” ditulis sebagai “thylacoid”.
• Beberapa kata meleset: “plot fees” menjadi “Tlot fees”, dan “lead with” menjadi “led with”.
• Tanda baca kadang tergabung: dua kalimat digabung dengan koma.

Itu gambaran yang adil tentang transkripsi di perangkat secara umum: sangat berguna, dan layak diperiksa sebentar sebelum kamu mengutip atau membagikannya.

Batasan Whisper yang diketahui

• Tanpa label pembicara. Whisper menulis apa yang diucapkan, bukan siapa yang mengucapkannya.
• Kadang bisa mengarang teks. Peneliti menemukan bahwa Whisper terkadang menulis kata yang tidak pernah diucapkan; Associated Press memberitakan hal ini pada 2024. Mangonote menyimpan audio bersama setiap transkrip dan memberi penanda waktu pada setiap baris, sehingga kamu bisa memeriksa bagian mana pun yang terlihat janggal.
• Akurasi bergantung pada bahasa dan pada rekamannya: jarak dari pembicara, kebisingan latar, dan suara yang saling tumpang tindih sama pentingnya dengan modelnya.

Panduan terkait

• Transkripsi suara offline di iPhone: cara kerja Mangonote
• Cara mentranskripsi wawancara
• Cara mentranskripsi memo suara di iPhone
• Cara Mentranskripsi Audio Spanyol di iPhone (dan Bahasa Lain)