Współczynnik błędu słów 2,4% — i wciąż nie wiadomo, kto mówił

Na początku czerwca zespół AI Superintelligence w Microsofcie wypuścił MAI-Transcribe-1.5, a model osiągnął 2,4% współczynnika błędu słów w niezależnym rankingu Artificial Analysis. Jeden model obsługuje 43 języki, radzi sobie z akcentami i głośnymi salami, a godzinę nagrania przerabia w mniej niż piętnaście sekund.

A teraz proszę otworzyć dokumentację Azure Microsoftu dla tego samego modelu. Wśród uwag dotyczących użycia jest jedna linijka: „Diaryzacja nie jest obsługiwana".

Diaryzacja to ta część, która mówi, kto właśnie mówił. Czyli: najgłośniejszy model mowy tego roku produkuje niemal bezbłędną ścianę słów, nie mając pojęcia, z czyich ust każde z nich wyszło. To nie jest przeoczenie w informacjach o wydaniu. To bardzo precyzyjne zdjęcie tego, gdzie ta branża naprawdę stoi. Słyszenie jest praktycznie rozwiązane. A słyszenie nigdy nie było trudną częścią notatki ze spotkania.

Ten tekst dotyczy dystansu między dokładną transkrypcją a notatką, którą naprawdę wysłałbyś zespołowi: co mierzy współczynnik błędu słów, czego z definicji zmierzyć nie potrafi i jakie warstwy nadbudowują się nad rozpoznawaniem mowy, po cichu decydując o użyteczności nagrania. Jeśli kiedykolwiek dostałeś transkrypcję technicznie nieskazitelną i praktycznie bezużyteczną — oto wyjaśnienie tego uczucia.

TL;DR:

• Współczynnik błędu stłoczył się przy dolnej granicy: dziewięć najlepszych modeli w niezależnym rankingu Artificial Analysis mieści się między 1,73% a 3,31%, więc przesiadka na „dokładniejszy" silnik daje kilkadziesiąt słów na godzinnym spotkaniu.
• WER waży wszystkie słowa tak samo. Zgubienie „nie" w decyzji kosztuje te same 0,016% co połknięte „yyy" — metryka nie odróżnia literówki od odwróconego zobowiązania.
• Praca, która pozostała, jest nad transkrypcją: przypisanie mówców, segmentacja, oczyszczanie, streszczenie. Karta modelu samego Microsoftu jest tego dowodem: najwyższa dokładność, brak diaryzacji, brak streamingu.

Zdjęcie: Steve Knight, Rockfield Studios, Wikimedia Commons, CC BY 2.0.

Jak naprawdę wyglądają 2,4%, kiedy to ty musisz to przeczytać

Współczynnik błędu słów to najstarsza i najbardziej prymitywna liczba w rozpoznawaniu mowy — i właśnie dlatego, że cytuje się ją wszędzie, warto ją dobrze zrozumieć. Bierzemy to, co faktycznie zostało powiedziane: transkrypcję referencyjną przygotowaną przez ludzi. Bierzemy to, co napisał model. I liczymy błędne słowa w trzech odmianach: podstawienia (napisał „wdrożenie" tam, gdzie ktoś powiedział „wdrożymy"), usunięcia (słowo znika w całości) i wstawienia (model wymyśla słowo, którego nikt nie wypowiedział). Sumujemy, dzielimy przez liczbę słów w referencji — i to jest WER. Im niżej, tym lepiej.

Zatem 2,4% oznacza mniej więcej jedno błędne słowo na czterdzieści dwa.

Przełóżmy to na prawdziwe spotkanie. Godzina, podczas której faktycznie mówi się przez jakieś czterdzieści pięć minut, w normalnym tempie konwersacji około 140 słów na minutę, daje mniej więcej 6300 słów. Przy WER na poziomie 2,4% błędnych jest około 150 z nich. Rozrzucone po transkrypcji to kilka błędów na każdym ekranie.

I tu pojawia się pytanie, na które ta metryka odpowiedzieć odmawia: które 150?

WER przypisuje taką samą wagę każdemu słowu w języku. Spójnik „i" i przeczenie „nie" są warte dokładnie tyle samo. Wyobraź sobie transkrypcję, która zamienia „nie wypuszczamy w trzecim kwartale" na „wypuszczamy w trzecim kwartale". To jedno usunięcie. Jedno słowo z 6300 — 0,016% transkrypcji, błąd zaokrąglenia wobec budżetu 2,4%. A notatka zapisuje teraz dokładne przeciwieństwo tego, co sala postanowiła.

Ta sama asymetria przechodzi przez nazwiska, kody produktów i wewnętrzne skróty — czyli przez słowa niosące najwięcej znaczenia na znak i pojawiające się najrzadziej w danych treningowych. Transkrypcja może bezbłędnie trafić 6150 słów tkanki łącznej i zmasakrować każdą nazwę własną w sali, a jej WER nadal będzie wyglądał znakomicie. Kto czytał transkrypcję własnego daily, zna to uczucie: słowa się zgadzają, a spotkania nie ma.

Ranking stłoczył się przy dolnej granicy

To fragment, który przestawia optykę całej kategorii. Ranking speech-to-text Artificial Analysis sprawdziliśmy 4 sierpnia 2026 roku — to niezależny benchmark, nie karta producenta. Indeks AA-WER v2 jest średnią ważoną długością nagrania z około ośmiu godzin pochodzących z trzech zbiorów danych: AA-AgentTalk (50%), VoxPopuli-Cleaned-AA (25%) i Earnings22-Cleaned-AA (25%). Czołówka wygląda tak:

Źródło: ranking speech-to-text Artificial Analysis, dane pobrane 4 sierpnia 2026 (AA-WER v2, bez streamingu).

Rzucają się w oczy dwie rzeczy. Po pierwsze: 2,4% Microsoftu jest prawdziwe i zmierzone niezależnie — ale to trzecie miejsce, nie pierwsze. Mocniejsze twierdzenie, o najlepszej w klasie dokładności na FLEURS we wszystkich 43 językach, pochodzi od samego Microsoftu, więc do czasu pomiaru przez kogoś z zewnątrz należy je czytać jako liczbę producenta.

Po drugie, i to waży znacznie więcej: dziewięć modeli upchniętych w pasmo o szerokości 1,6 punktu. Wróćmy do naszego spotkania na 6300 słów. Lider rankingu myli się w około 109 słowach. Model z dziewiątego miejsca — w około 209. Whisper Large v3, otwarta baza, na której wciąż działa mnóstwo produktów — w około 256.

Pomyśl, co to oznacza przy decyzji zakupowej. Przesiadka ze średniaka na lidera oszczędza ci około stu słów na godzinę. To nie jest nic, a w transkrypcji medycznej czy prawniczej ma realne znaczenie. Ale to bardzo daleko od różnicy między notatką, której ufasz, a notatką, którą piszesz od nowa. Każdy poważny silnik przekracza już 96% dokładności. Zmienna decydująca o tym, czy twoja notatka ze spotkania jest użyteczna, leży zupełnie gdzie indziej.

Informacje o wydaniu od Microsoftu to najuczciwszy dokument w tej kategorii

Co sprowadza nas z powrotem do linijki z początku. Dokumentacja Azure Speech beznamiętnie wylicza ograniczenia MAI-Transcribe: diaryzacja nieobsługiwana, strojenie promptem nieobsługiwane, a sam model działa w publicznej wersji zapoznawczej przez LLM Speech API. Relacje z premiery dodają, że brakuje też natywnego API streamingowego, co ogranicza zastosowania w czasie rzeczywistym.

Przyjrzyj się kształtowi tego zestawu. Firma włożyła ogromny wysiłek inżynierski w problem słyszenia — 43 języki wobec 25 w poprzedniej generacji, przy czym 18 nowych dodano bez utraty dokładności. I wypuściła to bez etykiet mówców oraz bez streamingu. Czyli dokładnie bez tego, czego potrzebuje trwające spotkanie.

Nasza interpretacja: to nie jest luka w produkcie Microsoftu, to deklaracja o warstwowej strukturze całej dziedziny. Rozpoznawanie jest dziś komponentem, nie produktem. Stało się tym, co się kupuje, mierzy i wymienia — a ciekawa praca przeniosła się na wszystko, co je otacza.

Sufit stenografa

Oto termin, którego używamy wewnętrznie: sufit stenografa. Punkt, za którym lepsze słyszenie przestaje pomagać, bo pozostała praca nie polega już na słyszeniu.

Doskonały stenograf da ci doskonały zapis słów. Nie powie ci, że dwa „tak, jasne" padły z ust różnych osób i znaczyły co innego. Nie zaznaczy, gdzie skończył się jeden temat. Nie ostrzeże, że dwudziestu minutom o przeprowadzce biura nie ma czego szukać w notatce. Nad transkrypcją mieszkają cztery odrębne warstwy i każda zawodzi na swój sposób.

Przypisanie mówców, czyli diaryzacja. To mechanika, która dzieli pojedynczy strumień audio na „mówca 1, mówca 2, mówca 3" i utrzymuje te etykiety stabilnie przez godzinę. To problem naprawdę odrębny od rozpoznawania, z własnymi trybami awarii: dwoje ludzi mówiących jednocześnie, ktoś dołączający w połowie, ten sam uczestnik brzmiący inaczej na głośnomówiącym i w słuchawkach. A kiedy zawodzi, zawodzi destrukcyjnie. Transkrypcja, która przypisuje zobowiązanie niewłaściwej osobie, jest gorsza niż taka, która nie przypisuje go nikomu, bo czytający w to uwierzy. I to jest dokładnie ta zdolność, której model z najlepszym wynikiem nie dostarcza.

Segmentacja. Surowy wynik rozpoznawania to rzeka. Prawdziwa mowa nie przychodzi zdaniami: przychodzi w postaci ponownych rozbiegów, urwanych zdań podrzędnych i wejść w słowo. System musi zdecydować, gdzie kończą się zdania, gdzie kończy się tura wypowiedzi jednej osoby i gdzie rozmowa zmieniła temat. Zrób to źle, a dostaniesz technicznie poprawny akapit, którego nikt nie przeczyta, bo oko nie ma się o co zaczepić. Zrób dobrze, a te same słowa staną się możliwe do przejrzenia. Z tej poprawy w WER nie widać ani jednego znaku.

Oczyszczanie. Między surową transkrypcją a notatką jest przebieg porządkujący: usunięcie wypełniaczy i falstartów, ujednolicenie liczb i dat, poprawienie terminologii, której model akustyczny nie miał skąd znać. „Trzeci kwartał" staje się „Q3". Wewnętrzny kryptonim, który wyszedł jako trzy wiarygodnie brzmiące zwykłe słowa, wraca na miejsce. To warstwa, w której wchodzi wiedza dziedzinowa, i to ona odróżnia dokument czytający się jak protokół sądowy od takiego, który czyta się jak notatki.

Streszczenie. Na koniec ocena: które fragmenty godziny były decyzjami, które otwartymi pytaniami, które przydzieleniem zadania konkretnej osobie, a które dwudziestoma minutami o parkingu. To jedyna warstwa, którą większość czytelników rzeczywiście konsumuje, a jest w pełni zależna od trzech poprzednich. Moduł streszczający pracujący na nieprzypisanej i niesegmentowanej transkrypcji zgaduje, kto się do czego zobowiązał. Daj mu czyste tury wypowiedzi, a przestanie zgadywać.

Zależność biegnie w jedną stronę i właśnie dlatego rozmowa o dokładności tak myli. Poprawa WER z 2,4% do 1,7% poprawia wejście łańcucha czterech kroków, których nikt nigdy nie zmierzył.

Sterowanie słowami kluczowymi to branża przyznająca nam po cichu rację

W premierze MAI-Transcribe-1.5 jest funkcja, która odsłania całą grę — i jest jednocześnie najbardziej użyteczną rzeczą w tym wydaniu.

Model obsługuje sterowanie słowami kluczowymi, zwane też sterowaniem encjami: przekazujesz listę do 200 terminów dziedzinowych — nazwisk uczestników, nazw produktów, wewnętrznych skrótów — a model przechyla swoje predykcje w stronę tej listy, korzystając z otaczającego kontekstu przy decyzji, kiedy sterowanie zastosować, zamiast wymuszać dopasowania na ślepo. Microsoft raportuje spadek WER na FLEURS nawet o 30% przy włączonym sterowaniu. Opublikowany przykład jest bardzo konkretny: bez listy słów kluczowych trzy imiona wychodzą jako „Sean", „Oif" i „Societal". Z listą model odzyskuje „Shaun", „Aoife" i „Xochitl".

Przyjrzyj się dokładnie, co tam zaszło. Nagranie się nie zmieniło. Akustyka się nie poprawiła. Model wcześniej nie słyszał gorzej — słyszał doskonale i zgadywał źle, bo nie wiedział, kto jest w sali. Podaj mu listę uczestników, a niemal jedna trzecia błędów wyparowuje.

To cała teza tego tekstu, dostarczona jako funkcja produktu przez dostawcę z najwyżej ocenianym modelem. Najskuteczniejsza poprawa dokładności w sztandarowej premierze roku działa przez wstrzyknięcie informacji, której w nagraniu nigdy nie było. A to znaczy, że pozostała granica w transkrypcji nie jest akustyczna. Jest kontekstowa — a kontekst to dokładnie materiał, z którego zbudowane są warstwy nad transkrypcją.

Tymczasem wszyscy ścigają się w zbieraniu większej ilości dźwięku

Rynek sprzętu wyciągnął odwrotny wniosek i warto to odnotować. Okulary GO3 od INMO za 599 dolarów obiecują tłumaczenie w czasie rzeczywistym w ponad 98 językach rzutowane na soczewkę, a do tego automatyczne nagrywanie, transkrypcję i streszczanie każdej rozmowy i każdego spotkania, w oparciu o ChatGPT i Gemini. To wszystko deklaracje producenta z jego strony produktowej, a ambicja jest jasna: zarejestrować wszystko, wszędzie, bez użycia rąk.

Tyle że rejestrowanie nigdy nie było wąskim gardłem. Telefon położony na stole nagrywa spotkania wystarczająco dobrze od dekady. Uczynienie rejestracji bardziej wszechobecną zwiększa jedynie objętość dźwięku wpływającego do dokładnie tego samego, nierozwiązanego potoku przetwarzania. Jeśli już, wyostrza problem: urządzenie nagrywające wszystkie twoje rozmowy przez cały dzień produkuje o wiele więcej materiału, do którego trzeba przyłożyć decyzję o tym, co się liczy.

Co przetestować zamiast czytać liczbę WER

Jeśli oceniasz narzędzie do transkrypcji albo notatek ze spotkań, publikowana liczba dokładności nie rozdzieli kandydatów, bo wszyscy mieszczą się w kilku punktach. Rozdzielą je trzy testy.

Nagraj prawdziwe spotkanie z co najmniej trzema osobami i fragmentem, w którym ludzie faktycznie mówią jedno przez drugie, a potem sprawdź, czy etykiety mówców pozostają spójne od piątej do pięćdziesiątej minuty — to tam diaryzacja po cichu się sypie. Następnie weź decyzję sformułowaną przecząco („w tym kwartale migracji nie robimy") i poszukaj jej w streszczeniu; system, który odwraca albo gubi przeczenia, zdradzi się właśnie tutaj. Na koniec porównaj streszczenie z własną pamięcią o spotkaniu i policz osobno dwie rzeczy: co znalazło się w nim niepotrzebnie i czego zabrakło, mimo że było ważne. Tej drugiej liczby nikt nie publikuje, a to ona decyduje, czy za trzy miesiące nadal będziesz używać tego narzędzia.

Podsumowanie

Współczynnik błędu słów odpowiadał na pytanie „czy maszyna usłyszała słowa?" — i branża już na nie odpowiedziała. Żaden ranking nigdy nie odpowiedział na inne: „czy to mówi mi, co spotkanie postanowiło?".

To dwa różne pytania i tylko jedno z nich kiedykolwiek było sednem. Transkrypcja jest zapisem dźwięku. Notatka jest zapisem decyzji. Odległości między nimi nie mierzy się w punktach procentowych i nie zamknie jej ani lepszy mikrofon, ani niższy WER. Zamyka ją wszystko, co budujesz na wierzchu: wiedza, kto mówił, gdzie skończyła się myśl, które słowa były szumem i które trzy zdania z całej godziny były powodem, dla którego to spotkanie się odbyło.

Transkrypcja nigdy nie była produktem końcowym. Była surowcem.

Dokładnie tak budujemy Telli.sh: rozpoznawanie mowy jest jednym komponentem, a praca, którą traktujemy jako produkt, leży nad nim — rozdzielanie mówców, segmentacja, oczyszczanie i streszczenia oddzielające decyzje od pogawędek, w 15 językach. Jeśli chcesz zobaczyć różnicę między transkrypcją a notatką na własnym spotkaniu, nagraj jedno i przeczytaj wynik kilka minut później.

Rozpocznij notatkę AI na żywo

Źródła

• MAI-Transcribe in Azure Speech (preview) — Microsoft Learn — lista ograniczeń, w tym „diaryzacja nie jest obsługiwana"
• Microsoft AI Introduces MAI-Transcribe-1.5 — MarkTechPost, 8 czerwca 2026
• Introducing MAI-Transcribe-1.5 — Microsoft AI
• Ranking speech-to-text Artificial Analysis — wartości AA-WER v2 pobrane 4 sierpnia 2026
• Strona produktu INMO GO3 — deklaracje producenta dotyczące tłumaczenia i transkrypcji
• Strona zdjęcia w Wikimedia Commons