Whisper는 OpenAI의 오픈 소스 음성 인식 모델이고 전부 아이폰에서 실행할 수 있어서, 인터넷 연결 없이 받아쓸 수 있어요. Mangonote는 앱 안에 다국어 Whisper 모델을 담고 있어요. 99개 언어를 다루고, 어떤 언어로 말하는지 감지하며, 오디오를 어디로도 보내지 않아요. 영어만 녹음한다면 내려받을 수 있는 Whisper English 모델이 있고, 일부 언어에서는 다른 기기 내 모델이 더 잘해요.
Whisper가 무엇인지, 휴대폰에서 어떻게 실행되는지, 알맞은 모델을 고르는 방법을 알려 드려요.
Whisper가 무엇인가요?
Whisper는 OpenAI가 2022년 9월에 공개한 범용 음성 인식 모델이에요(OpenAI). 핵심 사실은 이래요.
- 오픈 소스. 코드와 모델 가중치가 MIT 라이선스로 공개돼(GitHub) 앱이 직접 실행할 수 있어요.
- 많은 오디오로 학습. 연구 논문 Robust Speech Recognition via Large-Scale Weak Supervision에 따르면 웹에서 모은 68만 시간의 다국어, 다중 작업 데이터예요.
- 다국어. 99개 언어를 받아쓰고, 언어를 스스로 감지하며, 음성을 영어로 번역할 수도 있어요.
- 언어별로 고르지 않음. OpenAI의 문서에는 성능이 언어에 따라 크게 다르다고 나와 있어요. 학습 데이터가 많은 널리 쓰이는 언어가 가장 잘해요.
Whisper는 여러 크기로 나와요. 큰 모델은 더 정확하지만 느리고 메모리가 더 필요해요.
| 모델 | 파라미터 | 영어 전용 버전 |
|---|---|---|
| tiny | 39 M | 있음 |
| base | 74 M | 있음 |
| small | 244 M | 있음 |
| medium | 769 M | 있음 |
| large | 1,550 M | 없음 |
| turbo | 809 M | 없음 |
Whisper를 인터넷 없이 아이폰에서 실행할 수 있나요?
네. 더 작은 Whisper 모델은 휴대폰에 넉넉하게 들어가고, Apple의 칩이 빠르게 실행할 수 있어요. Mangonote는 Argmax의 오픈 소스 프레임워크로 Core ML을 통해 Apple 기기에서 Whisper를 실행하는 WhisperKit을 써요.
기기에서 실행하면 실용적인 효과가 세 가지 있어요.
- 오프라인으로 작동해요. Whisper Multilingual이 Mangonote에 포함되어 있어서, 처음 실행할 때부터 비행기 모드에서도, 지하 강의실에서도 받아쓰기가 돼요.
- 오디오가 아이폰에 머물러요. 받아쓰기를 위해 OpenAI에도, Mangonote에도 아무것도 업로드되지 않아요.(iCloud 동기화를 켜면 녹음은 내 iCloud에 보관돼요.)
- 가장 큰 Whisper는 아니에요. 서버에서 실행되는 큰 모델에 비해, 휴대폰 크기의 모델은 속도와 크기를 위해 정확도를 조금 양보해요. 그래서 아래의 대안을 알아 두면 좋아요.
Mangonote에서 Whisper를 어떻게 쓰나요?
- 설정 › 받아쓰기 및 AI › 모델을 여세요.
- Whisper Multilingual(내장, 내려받을 것 없음)을 탭하거나, 영어로만 녹음한다면 Whisper English(146.7 MB) 옆의 다운로드를 탭하세요.
- 뒤로 가서 언어를 탭하세요. 말할 언어를 고르거나 자동 감지를 그대로 두세요.
- 녹음 시작으로 녹음하거나 **+**로 오디오나 비디오를 가져오세요. 새 받아쓰기는 이제 Whisper를 써요.
내려받은 모델은 같은 화면의 편집으로 나중에 삭제할 수 있어요.
Whisper와 다른 기기 내 모델 비교
Mangonote에는 음성 모델이 여러 개 있고, 모두 아이폰에서 실행돼요. 앱의 모델 선택 화면이 각 모델에 대해 알려 주는 내용은 이래요.
| 모델 | 언어 | 크기 | 잘 맞는 용도 |
|---|---|---|---|
| Whisper Multilingual | 99개, 언어 감지 | 내장 | 대부분의 언어, 여러 언어가 섞인 보관함, 오래된 아이폰 |
| Whisper English | 영어 전용 | 146.7 MB | 영어 녹음, 영어에서는 Multilingual보다 “조금 더 정확해요” |
| Parakeet(NVIDIA) | 유럽 25개 언어 | 내장 | 아이폰 12 이상의 추천 기본값: 빠르고 Neural Engine에서 실행 |
| Nemotron(NVIDIA) | 35개, 언어 감지 | 664.8 MB | Neural Engine에서 더 많은 언어 |
| SenseVoice | 중국어, 일본어, 한국어, 영어 | 237.4 MB | 동아시아 언어 |
| Omnilingual(Meta) | 최대 1,600개 | 365.4 MB | 희귀한 언어를 포함해 다른 모델이 다루지 않는 언어 |
| Apple Speech | Apple이 지원하는 언어 | iOS 26에 내장 | 아이폰 자체의 음성 인식 사용 |
Parakeet와 Omnilingual의 언어 수는 각 제작사가 밝힌 거예요. NVIDIA는 Parakeet TDT 0.6B v3가 유럽 25개 언어를 다룬다고 설명하고, Meta의 Omnilingual ASR은 1,600개 이상을 다뤄요.
고르는 방법
- 먼저 언어 목록을 여세요. 모든 언어에 선택한 모델의 품질 표시가 매우 우수부터 약함까지 나와요. 앱은 이것이 또렷한 음성에 대해 공개된 벤치마크로 낸 추정치이고 실제 녹음은 다를 수 있다고 안내해요.
- 영어만 쓴다면? Whisper English나 Parakeet를 써 보세요.
- 유럽 언어라면? Parakeet가 기본값인 데는 이유가 있어요. 이름이나 전문 용어가 틀리게 나오면 Whisper로 바꿔 보세요.
- 그 밖의 언어이거나 여러 언어라면? Whisper Multilingual이에요.
- 어느 모델도 나열하지 않는 언어라면? Omnilingual이에요.
저희 시험에서 Whisper는 무엇을 맞게 받아썼나요?
Whisper Multilingual을 선택한 Mangonote에 샘플 녹음 세 개를 가져왔어요. 짧은 음성 메모, 두 사람의 인터뷰, 강의 비디오예요.
- 숫자와 날짜는 맞았어요. “Saturday, April 12th, at 9 a.m.”, “in 2019”, “about 40 families”, “March 2021”이에요.
- 전문 용어는 대부분 맞았어요. ATP, NADPH, 캘빈 회로는 제대로 나왔고, “thylakoid”는 “thylacoid”로 쓰였어요.
- 몇 단어는 틀렸어요. “plot fees”가 “Tlot fees”로, “lead with”가 “led with”로 나왔어요.
- 구두점이 가끔 합쳐졌어요. 두 문장이 쉼표로 이어졌어요.
기기 내 받아쓰기 전반에 대한 공정한 그림이에요. 충분히 쓸 만하지만, 인용하거나 공유하기 전에 빠르게 확인할 가치가 있어요.
Whisper의 알려진 한계
- 화자 표시 없음. Whisper는 무엇을 말했는지만 쓰고 누가 말했는지는 쓰지 않아요.
- 가끔 없는 텍스트를 만들어 낼 수 있어요. 연구자들은 Whisper가 아무도 말하지 않은 단어를 쓰는 경우가 있다고 밝혔고, Associated Press는 2024년에 이를 보도했어요. Mangonote는 모든 받아쓰기에 오디오를 함께 보관하고 모든 줄에 타임스탬프를 붙여서, 이상해 보이는 곳을 확인할 수 있어요.
- 정확도는 언어에 따라 그리고 녹음에 따라 달라요. 말하는 사람과의 거리, 배경 소음, 동시 발언은 모델만큼 중요해요.
관련 가이드
자주 묻는 질문
Whisper가 무엇인가요?
Whisper는 2022년 9월에 공개된 OpenAI의 음성 인식 모델이에요. 코드와 모델 가중치는 MIT 라이선스의 오픈 소스이고, 68만 시간의 다국어 오디오로 학습했어요.
Whisper를 인터넷 없이 아이폰에서 실행할 수 있나요?
네. 더 작은 Whisper 모델은 아이폰 자체에서 실행할 만큼 가벼워요. Mangonote는 앱 안에 Whisper Multilingual을 담고 있어서 처음 실행할 때부터 받아쓰기가 오프라인으로 작동해요.
Mangonote에서 Whisper를 쓰면 내 오디오가 OpenAI로 전송되나요?
아니요. Whisper는 내 아이폰에서 실행되므로 오디오가 OpenAI, Mangonote, 다른 어떤 서비스로도 전송되지 않아요. AI 요약은 별개이고 선택 사항이며, 동의한 뒤에 받아쓰기 텍스트만 선택한 AI 모델로 전송해요.
Whisper는 몇 개 언어를 지원하나요?
Whisper는 99개 언어를 다루고 어떤 언어로 말하는지 감지할 수 있어요. OpenAI는 정확도가 언어에 따라 크게 다르다고 밝히고 있어요.
Whisper는 무료인가요?
모델은 무료 오픈 소스예요. Mangonote에서는 Whisper Multilingual이 내장되어 있고 Whisper English는 무료로 내려받아요. 앱의 무료 요금제에는 하루 제한이 있고, Mangonote Plus에서는 제한이 없어요.
아이폰에서는 Whisper와 Parakeet 중 어느 쪽이 나은가요?
언어에 따라 달라요. Parakeet는 아이폰 12 이상에서 유럽 25개 언어에 대한 Mangonote의 추천 기본값이에요. Whisper는 99개 언어를 다루고 앱이 지원하는 모든 아이폰에서 작동해요. 앱의 언어 목록에 언어별로 각 모델의 예상 품질이 표시돼요.
자꾸 잊어버리는 생각을 붙잡아 보세요
Mangonote를 다운로드하고 첫 노트를 녹음해 보세요. iPhone에서 바로, 몇 초 만에 검색 가능한 텍스트가 되는 걸 볼 수 있어요.
