단어 오류율 2.4%, 그런데 누가 말했는지는 모른다

6월 초 마이크로소프트 AI 슈퍼인텔리전스 팀이 MAI-Transcribe-1.5를 출시했고, 독립 벤치마크인 Artificial Analysis 리더보드에서 단어 오류율 2.4%를 기록했습니다. 모델 하나로 43개 언어를 처리하고, 억양과 시끄러운 회의실에서도 흔들리지 않으며, 한 시간짜리 오디오를 15초 안에 밀어냅니다.

그런데 같은 모델의 애저(Azure) 공식 문서를 열어 보면 사용 시 유의사항에 이런 한 줄이 있습니다. "화자 분리(diarization)는 지원하지 않습니다."

화자 분리는 누가 말했는지를 알려 주는 기능입니다. 올해 최고 화제의 음성 모델이 거의 완벽한 단어의 벽을 만들어 내면서, 그 단어들이 누구 입에서 나왔는지는 전혀 모른다는 뜻이죠. 이건 릴리스 노트의 실수가 아닙니다. 이 산업이 지금 어디에 서 있는지를 정확히 보여 주는 장면입니다. 듣기는 거의 해결됐습니다. 그리고 듣기는 애초에 회의 노트의 어려운 부분이 아니었습니다.

이 글은 정확한 전사와 팀에 실제로 공유할 수 있는 노트 사이의 거리에 관한 이야기입니다. 단어 오류율이 무엇을 측정하고, 구조적으로 무엇을 측정할 수 없으며, 음성 인식 위에 어떤 층들이 올라가서 조용히 결과를 결정하는지 살펴봅니다. 기술적으로는 완벽한데 실제로는 쓸모없는 전사를 받아 본 적이 있다면, 그 기분에 대한 설명이 여기 있습니다.

TL;DR:

• 단어 오류율은 이미 바닥에 몰려 있습니다. Artificial Analysis 독립 리더보드 상위 9개 모델이 1.73%에서 3.31% 사이에 몰려 있어서, "더 정확한" 엔진으로 바꿔 봐야 일반적인 회의 한 시간에 수십 단어를 아낄 뿐입니다.
• WER은 모든 단어에 같은 가중치를 줍니다. 결정문에서 "않는다"가 빠지는 것과 군소리 "음"이 빠지는 것이 똑같이 0.016%입니다. 이 지표는 오타와 뒤집힌 약속을 구분하지 못합니다.
• 남은 일은 전사 위쪽에 있습니다. 화자 구분, 구간 분할, 정제, 요약이죠. 마이크로소프트의 모델 카드 자체가 증거입니다. 최고 수준의 정확도, 화자 분리 없음, 스트리밍 없음.

이미지: Steve Knight, Rockfield Studios, Wikimedia Commons, CC BY 2.0.

2.4%는 직접 읽는 사람에게 어떤 느낌인가

단어 오류율은 음성 인식에서 가장 오래되고 가장 무딘 숫자입니다. 그리고 워낙 자주 인용되기 때문에 정확히 이해해 둘 가치가 있죠. 실제로 말한 내용, 즉 사람이 만든 정답 전사를 준비합니다. 모델이 쓴 것을 가져옵니다. 그리고 틀린 단어를 세 가지로 나눠 셉니다. 대체(누가 "배포"라고 했는데 "배로"라고 씀), 삭제(단어를 통째로 빠뜨림), 삽입(말한 적 없는 단어를 지어냄). 이걸 다 더해서 정답 전사의 단어 수로 나누면 WER입니다. 낮을수록 좋습니다.

그러니까 2.4%는 대략 42단어에 한 단어가 틀린다는 뜻입니다.

실제 회의에 대입해 보죠. 한 시간 회의에서 사람들이 실제로 말하는 시간이 45분 정도이고, 보통 대화 속도인 분당 140단어라면 대략 6,300단어가 나옵니다. WER 2.4%면 그중 150단어쯤이 틀립니다. 전사 전체에 흩어 놓으면 한 화면마다 몇 개씩 있는 셈이죠.

여기서 이 지표가 답하기를 거부하는 질문이 나옵니다. 어느 150단어냐는 것입니다.

WER은 언어 안의 모든 단어에 똑같은 가중치를 줍니다. 조사 "의"와 부정어 "않는다"의 값이 정확히 같습니다. "3분기에 배포하지 않기로 했다"를 "3분기에 배포하기로 했다"로 옮긴 전사를 생각해 보세요. 삭제 하나입니다. 6,300단어 중 한 단어, 전사의 0.016%, 2.4%라는 예산에 비하면 반올림 오차죠. 그런데 노트는 이제 회의실이 실제로 내린 결정의 정반대를 기록하고 있습니다.

이름, 제품 코드, 사내 약어에서도 같은 비대칭이 반복됩니다. 글자당 의미가 가장 무겁고 학습 데이터에는 가장 적게 나오는 단어들이죠. 연결어 6,150단어를 완벽하게 맞히고 회의실의 고유명사를 전부 뭉개도 WER은 훌륭해 보입니다. 자기 팀 스탠드업 전사를 다시 읽어 본 사람은 이 느낌을 압니다. 단어는 맞는데, 회의가 없습니다.

리더보드는 이미 바닥에 몰려 있다

여기가 이 분야 전체를 다시 보게 만드는 대목입니다. 저희는 2026년 8월 4일에 Artificial Analysis 음성 인식 리더보드를 확인했습니다. 벤더가 만든 성적표가 아니라 독립 벤치마크입니다. AA-WER v2 지표는 세 개 데이터셋에서 뽑은 약 8시간 분량을 오디오 길이로 가중 평균한 값입니다. AA-AgentTalk 50%, VoxPopuli-Cleaned-AA 25%, Earnings22-Cleaned-AA 25%죠. 상위권은 이렇습니다.

출처: Artificial Analysis 음성 인식 리더보드, 2026년 8월 4일 확인(AA-WER v2, 비스트리밍).

두 가지가 눈에 띕니다. 첫째, 마이크로소프트의 2.4%는 진짜이고 독립적으로 측정됐습니다. 다만 1위가 아니라 3위입니다. 43개 언어 전체에서 FLEURS 최고 정확도라는 더 센 주장은 마이크로소프트 자체 발표이므로, 외부에서 측정하기 전까지는 벤더 수치로 읽는 게 맞습니다.

둘째, 그리고 훨씬 중요한 점. 아홉 개 모델이 1.6%포인트 폭 안에 빽빽이 들어차 있습니다. 6,300단어짜리 회의로 다시 환산해 보죠. 1위 모델은 약 109단어를 틀립니다. 9위 모델은 약 209단어. 아직도 수많은 제품이 돌리고 있는 오픈 베이스라인 Whisper Large v3는 약 256단어입니다.

이게 구매 결정에서 무슨 뜻인지 생각해 보세요. 중간급 엔진에서 1위 엔진으로 갈아타면 시간당 100단어쯤을 아낍니다. 아무것도 아닌 건 아니고, 의료나 법률 전사에서는 정말로 중요합니다. 하지만 믿고 쓰는 노트와 처음부터 다시 쓰는 노트의 차이에는 한참 못 미칩니다. 이제 웬만한 엔진은 전부 96% 정확도를 넘깁니다. 회의 노트가 쓸 만한지를 결정하는 변수는 완전히 다른 곳에 있습니다.

마이크로소프트의 릴리스 노트가 이 분야에서 가장 정직한 문서다

그래서 이 글을 시작한 그 한 줄로 돌아옵니다. 마이크로소프트 애저 스피치 문서는 MAI-Transcribe의 제약을 담담하게 나열합니다. 화자 분리 미지원, 프롬프트 튜닝 미지원, 그리고 LLM Speech API를 통한 퍼블릭 프리뷰 단계라는 것. 출시 보도에는 네이티브 스트리밍 API도 없어서 실시간 활용이 제한된다는 내용이 더해집니다.

이 모양을 잠시 들여다보세요. 이 회사는 듣기 문제에 어마어마한 엔지니어링을 쏟아부었습니다. 이전 세대 25개에서 43개 언어로 늘리면서 18개를 정확도 손실 없이 추가했죠. 그리고 화자 라벨 없이, 스트리밍 없이 출시했습니다. 둘 다 라이브 회의에 정확히 필요한 것들인데 말입니다.

저희 판단은 이렇습니다. 이건 마이크로소프트 제품의 구멍이 아니라 이 분야 전체의 층위에 대한 선언입니다. 인식은 이제 제품이 아니라 부품입니다. 사서 쓰고, 벤치마크하고, 갈아 끼우는 대상이 됐습니다. 그리고 흥미로운 작업은 그 주위를 감싸는 모든 것으로 옮겨 갔습니다.

속기사의 천장

저희가 내부에서 계속 쓰는 표현이 있습니다. 속기사의 천장입니다. 더 잘 듣는 것이 더 이상 도움이 되지 않는 지점, 남은 일이 듣기가 아니기 때문에 생기는 한계선이죠.

완벽한 속기사는 단어의 완벽한 기록을 줍니다. 하지만 "네, 그러죠"라는 두 번의 대답이 서로 다른 사람에게서 나왔고 서로 다른 뜻이었다는 건 말해 주지 않습니다. 한 주제가 어디서 끝났는지 표시해 주지 않습니다. 사무실 이전 얘기 20분은 애초에 노트에 들어가면 안 된다는 것도 알려 주지 않고요. 전사 위에는 네 개의 층이 있고, 각 층은 저마다의 방식으로 무너집니다.

화자 구분, 즉 화자 분리. 하나의 오디오 스트림을 "화자 1, 화자 2, 화자 3"으로 쪼개고 그 라벨을 한 시간 내내 일관되게 유지하는 장치입니다. 인식과는 완전히 별개의 문제이고, 고유한 실패 방식이 있습니다. 두 사람이 겹쳐 말할 때, 누군가 중간에 합류할 때, 같은 사람이 스피커폰과 헤드셋에서 다르게 들릴 때죠. 그리고 실패할 때 파괴적으로 실패합니다. 약속을 엉뚱한 사람에게 붙인 전사는 아무에게도 붙이지 않은 전사보다 나쁩니다. 읽는 사람이 그걸 믿어 버리니까요. 그리고 이것이 바로 최고 점수 모델이 제공하지 않는 기능입니다.

구간 분할. 인식 결과 원본은 강물입니다. 실제 말은 문장 단위로 도착하지 않습니다. 다시 시작하고, 말끝을 흘리고, 끼어들면서 도착하죠. 모델은 문장이 어디서 끊기는지, 한 사람의 발언 차례가 어디서 끝나는지, 대화가 어디서 주제를 바꿨는지를 판단해야 합니다. 여기서 틀리면 기술적으로는 정확하지만 아무도 읽지 않을 문단이 나옵니다. 눈이 쉴 곳이 없으니까요. 제대로 하면 똑같은 단어들이 훑어볼 수 있는 글이 됩니다. 이 개선은 WER에 단 한 글자도 나타나지 않습니다.

정제. 원본 전사와 노트 사이에는 정리 과정이 있습니다. 군더더기와 헛스타트를 걷어내고, 숫자와 날짜를 표준화하고, 음향 모델이 알 도리가 없었던 전문 용어를 고칩니다. "삼 분기"가 "3분기"가 되고, 그럴듯한 일반 단어 세 개로 흘러나온 사내 코드명이 제자리를 찾습니다. 도메인 지식이 들어오는 층이고, 법정 기록처럼 읽히는 문서와 노트처럼 읽히는 문서를 가르는 지점입니다.

요약. 마지막으로 판단이 개입합니다. 한 시간 중 어디가 결정이었고, 어디가 미해결 질문이었고, 어디가 특정 담당자에게 일이 배정된 순간이었고, 어디가 주차 얘기 20분이었는지. 대부분의 독자가 실제로 읽는 유일한 층이면서, 앞의 세 층에 전적으로 의존하는 층입니다. 화자도 구간도 정리되지 않은 전사로 작업하는 요약기는 누가 무엇을 약속했는지를 추측하고 있는 겁니다. 깨끗한 발언 차례를 주면 추측을 멈춥니다.

의존 관계가 한 방향으로 흐른다는 점, 그래서 정확도 논쟁이 그토록 오해를 부른다는 점이 핵심입니다. WER을 2.4%에서 1.7%로 낮추는 건, 애초에 아무도 측정하지 않은 네 단계 체인의 입력을 개선하는 일입니다.

키워드 바이어싱은 업계가 조용히 인정한 대목이다

MAI-Transcribe-1.5 릴리스에는 이 모든 판을 스스로 드러내는 기능이 하나 있습니다. 그리고 그게 이번 출시에서 가장 쓸모 있는 부분이기도 합니다.

이 모델은 키워드 바이어싱, 다른 말로 엔티티 바이어싱을 지원합니다. 참석자 이름, 제품명, 사내 약어 같은 도메인 용어를 최대 200개까지 목록으로 넘기면 모델이 예측을 그쪽으로 기울입니다. 무작정 끼워 맞추는 게 아니라 주변 문맥을 보고 언제 그 편향을 적용할지 판단하고요. 마이크로소프트는 바이어싱을 쓸 때 FLEURS 기준 WER이 최대 30% 줄어든다고 보고합니다. 공개된 예시가 아주 정확합니다. 키워드 목록 없이는 이름 세 개가 "Sean", "Oif", "Societal"로 나옵니다. 목록을 주면 모델이 "Shaun", "Aoife", "Xochitl"을 되찾아 냅니다.

여기서 무슨 일이 일어났는지 자세히 보세요. 오디오는 그대로입니다. 음향이 좋아진 것도 아닙니다. 모델이 전에 더 못 들었던 게 아닙니다. 잘 듣고 있었는데 엉뚱하게 추측한 겁니다. 회의실에 누가 있는지 몰랐으니까요. 참석자 명단을 건네주자 오류의 3분의 1 가까이가 증발했습니다.

이게 이 글의 논지 전체이고, 최고 점수 모델을 가진 벤더가 그것을 제품 기능으로 출하한 셈입니다. 올해 최대 화제작에서 가장 효과적인 정확도 개선 수단이, 오디오에는 애초에 없던 정보를 주입하는 방식으로 작동합니다. 전사에 남은 최전선이 음향이 아니라 문맥이라는 뜻이죠. 그리고 문맥이야말로 전사 위의 층들이 만들어지는 재료입니다.

한편 업계는 더 많은 오디오를 담으려고 달리고 있다

하드웨어 시장은 정반대 결론을 내렸고, 그건 짚어 둘 만합니다. INMO의 GO3 안경은 599달러에 98개 이상 언어의 실시간 번역을 렌즈에 띄우고, 모든 대화와 회의를 자동으로 녹음·전사·요약한다고 약속합니다. ChatGPT와 제미나이가 뒤를 받치고요. 모두 제품 페이지에 실린 벤더 자체 주장이며, 야심은 분명합니다. 어디서든, 손을 쓰지 않고, 전부 담겠다는 것.

담는 일은 원래 병목이 아니었습니다. 테이블 위에 놓인 휴대폰은 10년 전부터 회의를 충분히 잘 녹음해 왔습니다. 담기를 더 상시적으로 만들면, 똑같이 풀리지 않은 파이프라인으로 흘러드는 오디오의 양만 늘어납니다. 오히려 문제가 날카로워지죠. 하루 종일 모든 대화를 녹음하는 기기는 "무엇이 중요한지 결정하기"를 적용해야 할 재료를 훨씬 더 많이 쏟아내니까요.

WER 숫자를 읽는 대신 해 볼 세 가지 테스트

전사나 회의 노트 도구를 평가하고 있다면, 공개된 정확도 수치로는 후보들이 갈리지 않습니다. 전부 몇 포인트 안에 몰려 있으니까요. 대신 세 가지 테스트가 갈라 줍니다.

세 명 이상이 참여하고 실제로 말이 겹치는 구간이 있는 회의를 녹음한 뒤, 화자 라벨이 5분에서 50분까지 일관되게 유지되는지 확인해 보세요. 화자 분리는 바로 거기서 슬그머니 무너집니다. 다음으로 부정형으로 진술된 결정("이번 분기에는 마이그레이션을 하지 않기로 했다")을 하나 골라 요약에서 찾아보세요. 부정을 뒤집거나 빠뜨리는 시스템은 여기서 정체를 드러냅니다. 마지막으로 요약을 회의에 대한 본인의 기억과 대조하면서 두 가지를 따로 세어 보세요. 중요하지 않은데 들어간 것, 그리고 중요한데 빠진 것. 두 번째 숫자는 아무도 공개하지 않는 숫자이고, 석 달 뒤에도 그 도구를 쓰고 있을지를 결정하는 숫자입니다.

결론

단어 오류율은 "기계가 그 단어들을 들었는가"라는 질문에 답했습니다. 그리고 업계는 이제 그 답을 냈습니다. 어떤 리더보드도 답하지 않은 질문은 "이게 회의에서 무엇이 결정됐는지 알려 주는가"입니다.

둘은 다른 질문이고, 애초에 요점이었던 건 하나뿐입니다. 전사는 소리의 기록입니다. 노트는 결정의 기록입니다. 그 사이의 간격은 퍼센트 포인트로 측정되지 않고, 더 좋은 마이크나 더 낮은 WER로 메워지지도 않습니다. 그 위에 쌓아 올리는 모든 것으로 메워집니다. 누가 말했는지 아는 것, 생각이 어디서 끝났는지 아는 것, 어떤 말이 잡음이었는지 아는 것, 그리고 한 시간 중 어느 세 문장이 이 회의를 연 이유였는지 아는 것.

전사는 결과물이었던 적이 없습니다. 원재료였죠.

Telli.sh를 만드는 방식이 정확히 이렇습니다. 음성 인식은 부품 하나이고, 저희가 제품이라고 여기는 일은 그 위의 층입니다. 화자 분리, 구간 분할, 정제, 그리고 결정과 잡담을 갈라내는 요약을 15개 언어로 제공합니다. 전사와 노트의 차이를 본인 회의로 직접 확인하고 싶다면, 하나 녹음해 보고 몇 분 뒤 결과를 읽어 보시면 됩니다.

실시간 AI 노트 시작하기

출처

• MAI-Transcribe in Azure Speech (preview) — Microsoft Learn — "화자 분리는 지원하지 않습니다"를 포함한 제약 목록
• Microsoft AI Introduces MAI-Transcribe-1.5 — MarkTechPost, 2026년 6월 8일
• Introducing MAI-Transcribe-1.5 — Microsoft AI
• Artificial Analysis 음성 인식 리더보드 — AA-WER v2 수치, 2026년 8월 4일 확인
• INMO GO3 제품 페이지 — 번역 및 전사 기능에 대한 벤더 주장
• Wikimedia Commons 이미지 페이지