2,4 % de taux d'erreur sur les mots — et toujours aucune idée de qui a parlé

Début juin, l'équipe AI Superintelligence de Microsoft a livré MAI-Transcribe-1.5, avec un taux d'erreur sur les mots de 2,4 % sur le classement indépendant d'Artificial Analysis. Un seul modèle couvre 43 langues, tient face aux accents et aux salles bruyantes, et avale une heure d'audio en moins de quinze secondes.

Ouvrez ensuite la documentation Azure de Microsoft pour ce même modèle. Dans les remarques d'utilisation, une ligne : « La diarisation n'est pas prise en charge. »

La diarisation, c'est la partie qui vous dit qui parlait. Autrement dit, le modèle vocal le plus commenté de l'année produit un mur de mots quasi parfait sans savoir de quelle bouche ils sont sortis. Ce n'est pas un oubli dans les notes de version. C'est un instantané très précis de la situation réelle du secteur. L'écoute est pratiquement résolue. Et l'écoute n'a jamais été la partie difficile d'un compte rendu de réunion.

Cet article porte sur la distance entre une transcription exacte et un compte rendu que vous enverriez réellement à votre équipe : ce que mesure le taux d'erreur sur les mots, ce qu'il ne peut structurellement pas mesurer, et quelles couches se superposent à la reconnaissance vocale pour décider en silence de l'utilité du résultat. Si vous avez déjà reçu une transcription techniquement irréprochable et pratiquement inexploitable, voici l'explication de cette sensation.

TL;DR :

• Le taux d'erreur s'est tassé près du plancher : les neuf meilleurs modèles du classement indépendant d'Artificial Analysis tiennent entre 1,73 % et 3,31 %. Passer à un moteur « plus précis » vous fait gagner quelques dizaines de mots sur une réunion d'une heure.
• Le WER pondère tous les mots de la même façon. Perdre le « pas » d'une décision coûte les mêmes 0,016 % qu'avaler un « euh » — l'indicateur ne distingue pas une coquille d'un engagement inversé.
• Le travail restant se situe au-dessus de la transcription : attribution des locuteurs, segmentation, nettoyage, synthèse. La fiche modèle de Microsoft en est la preuve : précision au sommet, pas de diarisation, pas de streaming.

Image : Steve Knight, Rockfield Studios, Wikimedia Commons, CC BY 2.0.

Ce que représentent vraiment 2,4 % quand c'est vous qui lisez

Le taux d'erreur sur les mots est le chiffre le plus ancien et le plus grossier de la reconnaissance vocale — et c'est justement parce qu'il est cité partout qu'il mérite d'être compris précisément. On prend ce qui a réellement été dit : la transcription de référence, produite par des humains. On prend ce que le modèle a écrit. Puis on compte les mots erronés en trois catégories : substitutions (le modèle écrit « délai » là où quelqu'un a dit « déploie »), suppressions (un mot disparaît entièrement) et insertions (un mot inventé, jamais prononcé). On additionne, on divise par le nombre de mots de la référence, et on obtient le WER. Plus bas, mieux c'est.

Donc 2,4 %, cela veut dire environ un mot faux sur quarante-deux.

Appliquons cela à une vraie réunion. Une réunion d'une heure où l'on parle véritablement pendant quarante-cinq minutes, à un rythme conversationnel normal d'environ 140 mots par minute, produit à peu près 6 300 mots. À 2,4 % de WER, environ 150 d'entre eux sont faux. Répartis sur la transcription, cela fait quelques erreurs à chaque écran.

Vient alors la question à laquelle l'indicateur refuse de répondre : lesquels, ces 150 mots ?

Le WER attribue le même poids à chaque mot de la langue. L'article « le » et la négation « pas » valent exactement la même chose. Imaginez une transcription qui rend « on ne livre pas au troisième trimestre » par « on livre au troisième trimestre ». C'est une suppression. Un mot sur 6 300, soit 0,016 % de la transcription, une erreur d'arrondi face à un budget de 2,4 %. Et le compte rendu consigne désormais l'exact contraire de ce que la salle a décidé.

La même asymétrie traverse les noms propres, les codes produit et les acronymes internes — précisément les mots qui portent le plus de sens par caractère et qui apparaissent le moins dans les données d'entraînement. Une transcription peut réussir 6 150 mots de tissu conjonctif et massacrer tous les noms propres présents dans la salle, son WER restera excellent. Quiconque a relu la transcription de son propre point quotidien connaît cette impression : les mots sont là, et la réunion a disparu.

Le classement s'est tassé près du plancher

C'est le passage qui recadre toute la catégorie. Nous avons consulté le classement speech-to-text d'Artificial Analysis le 4 août 2026 — un benchmark indépendant, pas la fiche d'un fournisseur. Son indice AA-WER v2 est une moyenne pondérée par la durée audio portant sur environ huit heures issues de trois jeux de données : AA-AgentTalk (50 %), VoxPopuli-Cleaned-AA (25 %) et Earnings22-Cleaned-AA (25 %). Le haut du tableau donne ceci :

Source : classement speech-to-text d'Artificial Analysis, consulté le 4 août 2026 (AA-WER v2, non-streaming).

Deux choses sautent aux yeux. D'abord, les 2,4 % de Microsoft sont réels et mesurés de façon indépendante — mais c'est une troisième place, pas la première. L'affirmation plus forte, celle d'une précision de premier rang sur FLEURS pour les 43 langues, provient de Microsoft même : à lire comme un chiffre fournisseur tant que personne d'extérieur ne l'a mesurée.

Ensuite, et c'est bien plus important : neuf modèles sont compressés dans une bande de 1,6 point. Reprenons notre réunion de 6 300 mots. Le meilleur modèle du classement se trompe sur environ 109 mots. Le neuvième, sur environ 209. Whisper Large v3 — la base ouverte que font encore tourner quantité de produits — sur environ 256.

Pensez à ce que cela implique pour une décision d'achat. Passer d'un moteur de milieu de tableau au leader vous fait gagner une centaine de mots par heure. Ce n'est pas rien, et en transcription médicale ou juridique cela compte réellement. Mais on est très loin de l'écart entre un compte rendu auquel vous faites confiance et un compte rendu que vous réécrivez entièrement. Tous les moteurs sérieux dépassent désormais 96 % de précision. La variable qui décide de l'utilité de votre compte rendu se trouve ailleurs.

Les notes de version de Microsoft sont le document le plus honnête de la catégorie

Ce qui nous ramène à la ligne du début. La documentation Azure Speech énumère sobrement les limites de MAI-Transcribe : diarisation non prise en charge, réglage par prompt non pris en charge, et modèle disponible en préversion publique via l'API LLM Speech. La couverture du lancement ajoute qu'il n'existe pas non plus d'API de streaming native, ce qui limite l'usage en temps réel.

Observez la forme de tout cela. L'entreprise a investi une quantité considérable d'ingénierie dans le problème de l'écoute — 43 langues contre 25 à la génération précédente, dont 18 ajoutées sans régression de précision — et l'a livré sans étiquettes de locuteur et sans streaming. Or ce sont exactement les deux choses dont une réunion en direct a besoin.

Notre lecture : ce n'est pas un manque dans le produit Microsoft, c'est une déclaration sur la stratification de tout le domaine. La reconnaissance est devenue un composant, pas un produit. C'est ce qu'on achète, mesure et remplace — et le travail intéressant a migré vers tout ce qui l'entoure.

Le plafond du sténographe

Voici le terme que nous employons en interne : le plafond du sténographe. Le point au-delà duquel mieux entendre cesse d'aider, parce que le travail qui reste n'est pas de l'écoute.

Un sténographe parfait vous donne un relevé parfait des mots. Il ne vous dira pas que les deux « oui, d'accord » venaient de personnes différentes et voulaient dire des choses différentes. Il ne marquera pas où un sujet s'est terminé. Il ne vous dira pas que les vingt minutes sur le déménagement des bureaux n'ont rien à faire dans le compte rendu. Quatre couches distinctes vivent au-dessus de la transcription, et chacune échoue à sa manière.

L'attribution des locuteurs, ou diarisation. C'est la mécanique qui découpe un flux audio unique en « locuteur 1, locuteur 2, locuteur 3 » et maintient ces étiquettes stables sur une heure. C'est un problème réellement distinct de la reconnaissance, avec ses propres modes de défaillance : deux personnes qui se coupent la parole, quelqu'un qui rejoint à mi-parcours, un même participant qui sonne différemment au haut-parleur et au casque. Et quand elle échoue, elle échoue de façon destructrice. Une transcription qui attribue un engagement à la mauvaise personne est pire qu'une transcription qui ne l'attribue à personne, parce que le lecteur y croira. C'est précisément la capacité que le modèle le mieux classé ne livre pas.

La segmentation. La sortie brute de la reconnaissance est un fleuve. La parole réelle n'arrive pas en phrases : elle arrive en reprises, en propositions inachevées et en interruptions. Le système doit décider où les phrases s'arrêtent, où le tour de parole d'une personne se termine, où la conversation a changé de sujet. Ratez cela et vous obtenez un paragraphe techniquement exact que personne ne lira, parce que l'œil n'a nulle part où se poser. Réussissez-le et les mêmes mots deviennent parcourables. Pas un seul caractère de cette amélioration n'apparaît dans le WER.

Le nettoyage. Entre la transcription brute et le compte rendu, il y a une passe de mise au propre : retirer les hésitations et les faux départs, normaliser les nombres et les dates, corriger la terminologie que le modèle acoustique n'avait aucun moyen de connaître. « Troisième trimestre » devient « T3 ». Un nom de code interne sorti sous la forme de trois mots courants plausibles retrouve sa place. C'est la couche où entre la connaissance métier, et c'est ce qui sépare un document qui se lit comme un procès-verbal d'un document qui se lit comme des notes.

La synthèse. Enfin, le jugement : quelles parties de l'heure étaient des décisions, lesquelles des questions ouvertes, lesquelles l'attribution d'une tâche à une personne nommée, et lesquelles les vingt minutes sur le parking. C'est la seule couche que la plupart des lecteurs consomment réellement, et elle dépend entièrement des trois précédentes. Un moteur de synthèse qui travaille sur une transcription non attribuée et non segmentée devine qui s'est engagé à quoi. Donnez-lui des tours de parole propres et il cesse de deviner.

La dépendance va dans un seul sens, et c'est pour cela que le débat sur la précision est si trompeur. Faire passer le WER de 2,4 % à 1,7 % améliore l'entrée d'une chaîne de quatre étapes que personne n'a jamais mesurée.

Le biais par mots-clés, c'est le secteur qui concède discrètement le point

Une fonctionnalité de MAI-Transcribe-1.5 vend la mèche — et c'est aussi la chose la plus utile du lancement.

Le modèle prend en charge le biais par mots-clés, aussi appelé biais d'entités : vous lui fournissez une liste d'au plus 200 termes métier — noms de participants, noms de produits, acronymes internes — et il oriente ses prédictions vers cette liste, en s'appuyant sur le contexte pour décider quand appliquer le biais plutôt que de forcer les correspondances. Microsoft annonce jusqu'à 30 % de réduction du WER sur FLEURS lorsque le biais est activé. Leur exemple publié est très concret : sans liste de mots-clés, trois prénoms sortent en « Sean », « Oif » et « Societal ». Avec la liste, le modèle récupère « Shaun », « Aoife » et « Xochitl ».

Regardez de près ce qui s'est passé. L'audio n'a pas changé. L'acoustique ne s'est pas améliorée. Le modèle n'entendait pas moins bien avant : il entendait très bien et devinait mal, parce qu'il ignorait qui était dans la salle. Donnez-lui la liste des participants et près d'un tiers des erreurs s'évapore.

C'est toute la thèse de cet article, livrée sous forme de fonctionnalité produit par le fournisseur qui détient le modèle le mieux noté. L'amélioration de précision la plus efficace de la sortie phare de l'année fonctionne en injectant une information qui n'a jamais été présente dans l'audio. Ce qui signifie que la frontière restante en transcription n'est pas acoustique. Elle est contextuelle — et le contexte est exactement la matière dont sont faites les couches situées au-dessus de la transcription.

Pendant ce temps, tout le monde court après davantage d'audio

Le marché du matériel en a tiré la conclusion inverse, et cela vaut la peine d'être noté. Les lunettes GO3 d'INMO, à 599 dollars, promettent la traduction en temps réel dans plus de 98 langues projetée sur le verre, plus l'enregistrement, la transcription et la synthèse automatiques de chaque conversation et de chaque réunion, propulsés par ChatGPT et Gemini. Ce sont les affirmations du fabricant sur sa page produit, et l'ambition est claire : tout capter, partout, sans les mains.

Or la captation n'a jamais été le goulot d'étranglement. Un téléphone posé sur la table enregistre correctement une réunion depuis dix ans. Rendre la captation plus ambiante ne fait qu'augmenter le volume d'audio qui se déverse dans la même chaîne de traitement non résolue. Si tant est que cela change quelque chose, le problème s'aiguise : un appareil qui enregistre toutes vos conversations de la journée produit bien plus de matière à laquelle il faut appliquer un tri de ce qui compte.

Ce qu'il faut tester au lieu de lire le chiffre du WER

Si vous évaluez un outil de transcription ou de comptes rendus, le chiffre de précision publié ne départagera pas les candidats, puisqu'ils tiennent tous en quelques points. Trois tests, eux, y parviendront.

Enregistrez une vraie réunion avec au moins trois personnes et un passage où les gens se coupent réellement la parole, puis vérifiez si les étiquettes de locuteur restent cohérentes de la cinquième à la cinquantième minute : c'est là que la diarisation se dégrade discrètement. Prenez ensuite une décision formulée à la forme négative (« on ne fait pas la migration ce trimestre ») et cherchez-la dans la synthèse ; un système qui inverse ou perd les négations se trahira ici. Enfin, comparez la synthèse à votre propre souvenir de la réunion et comptez deux choses séparément : ce qu'elle a inclus sans que cela compte, et ce qu'elle a manqué alors que cela comptait. Ce second nombre, personne ne le publie, et c'est lui qui détermine si vous utiliserez encore l'outil dans trois mois.

En résumé

Le taux d'erreur sur les mots répondait à la question « la machine a-t-elle entendu les mots ? » — et le secteur y a désormais répondu. Ce à quoi aucun classement n'a répondu, c'est : « est-ce que cela me dit ce que la réunion a décidé ? »

Ce sont deux questions différentes, et une seule a jamais été l'enjeu. Une transcription est un enregistrement de son. Un compte rendu est un enregistrement de décision. L'écart entre les deux ne se mesure pas en points de pourcentage, et il ne se comblera ni par un meilleur micro ni par un WER plus bas. Il se comble par tout ce que l'on construit par-dessus : savoir qui a parlé, où la pensée s'est achevée, quels mots étaient du bruit, et quelles trois phrases d'une heure étaient la raison pour laquelle la réunion a eu lieu.

La transcription n'a jamais été le livrable. C'était la matière première.

C'est exactement ainsi que nous construisons Telli.sh : la reconnaissance vocale est un composant, et le travail que nous considérons comme le produit se situe au-dessus — séparation des locuteurs, segmentation, nettoyage et synthèses qui distinguent les décisions du bavardage, en 15 langues. Si vous voulez voir la différence entre une transcription et un compte rendu sur l'une de vos propres réunions, enregistrez-en une et lisez le résultat quelques minutes plus tard.

Démarrer une note IA en direct

Sources

• MAI-Transcribe in Azure Speech (preview) — Microsoft Learn — la liste des limites, dont « la diarisation n'est pas prise en charge »
• Microsoft AI Introduces MAI-Transcribe-1.5 — MarkTechPost, 8 juin 2026
• Introducing MAI-Transcribe-1.5 — Microsoft AI
• Classement speech-to-text d'Artificial Analysis — valeurs AA-WER v2 relevées le 4 août 2026
• Page produit INMO GO3 — affirmations du fabricant sur les fonctions de traduction et de transcription
• Page de l'image sur Wikimedia Commons