전사문은 멀쩡했는데: Confident AI가 대화의 소리까지 평가에 담는다

아래에 정리한 출처를 바탕으로 Ken Jo가 제작한 설명 도식입니다.

고객이 질문하고 에이전트가 올바르게 답합니다. 전사문도 완벽해 보입니다. 하지만 녹음을 들으면 다른 상호작용이 드러납니다. 에이전트는 너무 일찍 말하기 시작하고, 고객이 정정하는 말을 덮으며, 다시 반응하기 전 긴 침묵을 남깁니다.

Confident AI의 2026년 10월 23일 업데이트는 이렇게 귀로 듣는 경험을 평가 절차에 더 많이 포함합니다. 회사는 오디오 직접 분류기, 사람의 검토 단계, Observatory 플레이어의 문제 시각 표시, Pipecat 오디오 추적을 발표했습니다. 의심되는 문제를 실제로 들을 수 있는 순간과 연결하는 기능입니다. 공식 변경 기록.

Confident AI는 AI 앱의 평가와 관측 도구를 제공합니다. 이번 릴리스는 불편한 대화를 재현 가능한 문제로 어떻게 바꿀지라는 질문을 통해 이해하면 유용합니다. 전사문과 오디오가 각각 제공하는 근거를 구분한 뒤, 흔한 음성 에이전트 사례 세 가지에 적용할 작은 검토 절차를 만들어 보겠습니다.

공식 Confident AI 문서 이미지, © 2024 Confident AI Inc., Apache 2.0. 실행 근거가 정리되는 방식을 보여주는 일반 추적 화면입니다. 새 오디오 분류기나 이 글에서 측정한 결과를 보여주지는 않습니다.

전사문은 말을 남기고 오디오는 상호작용을 남긴다

전사문은 답변에 기대한 정보가 들어 있는지 간결하게 확인하는 방법입니다. 잘못된 날짜, 빠진 안내, 모순을 발견할 수 있습니다. 여러 대화에서 검색하고 비교하기도 쉽습니다.

오디오는 다른 질문에 답합니다. 사용자가 말을 끝냈을까요? 멈춘 것처럼 보이는 순간이 사실 생각하는 시간이었을까요? 에이전트의 전달 방식 때문에 맞는 문장이 이해하기 어려워졌을까요? 정리된 텍스트만 읽으면 통화를 답답하게 만든 사건 자체를 놓칠 수 있습니다.

두 근거가 서로 다른 인상을 줄 때 이 구분은 특히 유용합니다. 전사문에는 완전한 질문이 보이지만 에이전트는 질문 중간에 답을 시작했을 수 있습니다. 반대로 텍스트로 어색한 짧은 문장은 자연스러운 대화 속 맞장구일 수 있습니다. 검토자가 맥락 속에서 판단할 수 있도록 둘 다 유지하세요.

Confident AI의 오디오 가이드는 역할 및 텍스트와 함께 메시지에 녹음을 첨부하고 추적 화면에서 재생하는 방식을 설명합니다. 검토자는 텍스트로 표현된 내용과 실제 들린 내용을 오갈 수 있습니다. 오디오 문서, 2026년 10월 27일 확인.

저희는 음성 평가에 이 두 번째 경로가 필요하다고 봅니다. 말로 주고받는 과정도 제품의 일부이므로 최종 텍스트만으로 품질을 모두 표현할 수는 없습니다. 녹음을 앱 이벤트와 연결해 두면 품질을 더 정확하게 논의할 수 있습니다.

유용한 발견에는 시점과 이유가 함께 있다

10월 23일 릴리스는 끼어들기, 어색한 침묵, 전달 문제 등을 찾기 위한 오디오 분류기를 추가합니다. 사람이 직접 듣고 분류를 확정하는 단계도 도입합니다. 플레이어에 문제 시각을 표시하므로 관련 구간으로 돌아갈 수 있습니다. 새 오디오 절차.

이는 에이전트가 이상하게 들렸다는 일반적 불만보다 행동으로 옮기기 좋은 발견입니다. 개발자에게는 위치, 관찰한 행동의 설명, 원래 무엇이 일어나야 했는지 이해할 주변 맥락이 필요합니다. 분류는 어디부터 볼지 정하고, 클립은 검토 가능한 근거를 제공합니다.

검토자는 의심과 확정의 차이를 유지해야 합니다. 통화자가 자료를 확인하는 동안의 멈춤은 적절할 수 있습니다. 겹치는 발화도 방해가 아니라 도움이 되는 맞장구일 수 있습니다. 분류는 팀이 기대하는 실제 대화 방식을 반영할 때 유용합니다.

기대하는 행동을 평이한 말로 적으세요. 예를 들어 끼어들기는 통화자가 정보를 제공하는 중에 에이전트가 본격적인 답을 시작해 정보가 빠지거나 반복되는 경우로 정의할 수 있습니다. 이는 팀 검토 절차를 위한 예시 기준이며 제품이 강제하는 정의가 아닙니다.

분류는 문제 후보의 위치를 찾습니다. 직접 듣고 명확한 기준을 적용하면 팀이 조치할 수 있는 발견이 됩니다.

세 대화가 보여주는 타이밍의 맥락

먼저 예약 도우미를 생각해 보겠습니다. 통화자가 예약을 옮기고 싶다고 말한 뒤 달력을 보느라 멈추고, 이어 날짜를 알려줍니다. 그 멈춤 사이에 에이전트가 시간을 제안하면 답의 의미는 관련성이 있어도 작업을 방해할 수 있습니다.

이 가상 사례에서 검토자는 끼어들기 전후를 들어야 합니다. 에이전트가 단순히 요청을 들었다고 알렸을까요, 아니면 말이 끝나기 전에 해석을 확정했을까요? 통화자는 자연스럽게 이어갔을까요, 처음부터 다시 말해야 했을까요? 이런 관찰은 허용할 대화 습관과 고쳐야 할 결함을 구분합니다.

두 번째 사례는 낯선 제품에 대한 고객지원입니다. 에이전트의 답은 맞지만 사용자는 자신의 말을 들었는지 확신하지 못합니다. 반응 없는 시간이 길면 질문을 반복할 수 있고, 그것이 새 요청으로 해석될 수 있습니다. 녹음과 실행 추적을 함께 보면 사용자가 느낀 지연이 어디서 시작됐는지 파악하는 데 도움이 됩니다.

한 사례만 보고 모든 대화에 적용할 침묵 기준을 정하지 마세요. 계정 조회와 간단한 안내 확인은 기대하는 시간이 다릅니다. 해당 작업에서 의도한 상호작용을 먼저 정하고 관찰한 멈춤과 비교하세요. 사용자가 무슨 일이 진행 중이라고 합리적으로 이해했는지가 중요한 질문입니다.

세 번째 사례는 주소나 제품 코드를 다루는 다국어 도우미입니다. 전사문은 그럴듯하지만 원래 발음은 다른 단어를 가리킬 수 있습니다. 통화자 오디오와 에이전트 답을 다시 들으면 인식, 해석, 전달 중 어디서 문제가 시작됐는지 구분하는 데 도움이 됩니다.

모든 오류가 오디오 분류기로 해결되는 것은 아닙니다. 앱에는 확인 단계, 더 나은 어휘 지원, 중요한 정보를 다시 말해달라고 명확하게 요청하는 방식이 필요할 수 있습니다. 평가가 에이전트를 막연히 친근하게 만들려는 시도보다 적절한 상호작용 변경으로 이어질 때 가치가 있습니다.

추적을 수집했다고 녹음도 재생되는 것은 아니다

오디오 평가 전에 근거가 존재하는지 확인하세요. Confident AI 멀티모달 문서는 인라인 미디어, 미디어 링크, 추적에서 생략된 파일을 구분합니다. 일반 모델 호출 수집은 지원되는 인라인 이미지와 PDF를 보존하지만, 오디오는 적절한 첨부 또는 지원되는 음성 연동 경로가 필요합니다. 멀티모달 추적 문서, 2026년 10월 9일 업데이트.

이 구분은 일상적인 디버깅에 영향을 줍니다. 추적에 있는 URL은 파일 참조이며, 반드시 보존된 사본은 아닙니다. 원래 위치가 만료되거나 검토자가 접근하지 못하면 추적은 보여도 소리 근거는 사라질 수 있습니다. 초기 연동 검사에 재생을 포함하세요.

같은 문서는 미디어 항목당 기본 5 MiB, TypeScript SDK의 스팬당 기본 합계 16 MiB 제한을 명시합니다. 초과한 미디어는 잘리는 대신 생략됩니다. 텍스트 추적이 도착했다고 큰 녹음도 들어갔다고 가정하지 말고 별도로 처리해야 합니다. 미디어 제한.

오디오 가이드는 역할 및 내용이 있는 메시지에 오디오를 배치합니다. 평가 파이프라인에서는 이 연결이 유용합니다. 누구의 녹음인지, 어떤 텍스트와 연결되는지 보존하세요. 잘못된 메시지에 붙은 클립은 정상 재생되더라도 검토자를 잘못된 결론으로 이끌 수 있습니다.

작업을 설명하는 열두 클립으로 시작한다

실용적인 파일럿은 의도적으로 고른 12개 클립으로 시작할 수 있습니다. 일반적인 성공 네 개, 명확한 실패 네 개, 토론이 필요한 모호한 사례 네 개를 고르세요. 검토 기준을 맞추기 위한 제안이며, 통계적으로 대표적인 표본이나 업체 벤치마크는 아닙니다.

모호한 사례가 특히 중요합니다. 검토자들이 끼어들기, 허용할 대기, 명확한 전달을 같은 뜻으로 이해하는지 드러납니다. 의견이 다르면 이미 합의됐다고 여기는 라벨을 자동 분류기에 재현하라고 하기 전에 이유부터 기록하세요.

첫 평가가 단순한 인상 모음으로 끝나지 않도록 반복 가능한 절차를 사용하세요.

1. 음성 에이전트 용도 하나에 맞는 프로젝트를 만드세요. 모든 클립에 같은 대화 기대치를 적용할 수 있도록 초기 범위를 좁히세요.
2. 녹음과 전사문을 같은 상호작용에 연결하세요. 문서의 오디오 첨부 방식이나 관련 음성 연동을 사용하세요. 대표적인 대화에서 양쪽 발화를 재생할 수 있는지 확인합니다.
3. 기본 미디어 제한에서 근거를 점검하세요. 생략 표시, 열리지 않는 링크, 잘못 연결된 메시지를 찾으세요. 오디오 부재를 문제 없는 통화로 해석하기 전에 수집 문제를 고칩니다.
4. 작은 검토 라벨 모음을 정의하세요. 각 행동을 구체적으로 설명하고, 비슷하지만 허용해야 할 사례도 포함하세요.
5. 분류를 실행하고 표시된 순간을 들으세요. 후보 라벨, 확정 판단, 검토자 설명을 보존하세요. 놓친 문제를 찾도록 표시되지 않은 클립도 들어보세요.
6. 상호작용의 관련 부분 하나를 바꾸고 반복하세요. 같은 사례를 변경 후 비교하고, 절차를 확대하기 전에 새 사례도 추가하세요.

Confident AI 분류기 가이드는 라벨 설명이 분류에 영향을 주며 결과를 필터 가능한 신호로 사용할 수 있다고 설명합니다. 이전 일반 가이드와 10월 23일 새 릴리스는 제품의 서로 다른 단계를 다룹니다. 새 오디오 절차는 현재 워크스페이스의 조작 항목을 따르세요. 변하지 않는 원칙은 다른 검토자도 적용할 수 있을 만큼 원하는 행동을 구체화하는 것입니다. 분류기 가이드.

에이전트뿐 아니라 검토 절차도 측정한다

문제 탐지 수가 늘어나는 데는 여러 이유가 있습니다. 에이전트가 나빠졌거나, 분류기가 민감해졌거나, 더 어려운 대화가 유입됐을 수 있습니다. 평가 설정과 검토한 통화 집합을 보이게 유지해야 이를 구분할 수 있습니다.

파일럿에서는 표시된 클립 중 확정한 개수와 표시되지 않은 클립에서 발견한 문제 수를 기록하세요. 관련 순간을 찾는 데 걸린 시간도 기록합니다. 이는 팀 절차에 관한 단순한 관찰이며 분류기의 보편적인 정확도 점수를 주장할 필요는 없습니다.

변경으로 클립이 개선됐다면 무엇이 좋아졌는지 적으세요. 통화자가 질문을 끝낸 뒤 에이전트가 답했거나, 조회 중에 접수 응답을 들었거나, 불확실한 코드로 행동하기 전에 확인을 요청했을 수 있습니다. 구체적인 결과가 모델이 자연스럽게 들린다는 포괄적인 주장보다 유용합니다.

믿을 수 있는 검토 절차는 근거, 해석, 변경의 효과를 각각 확인합니다.

녹음 접근권과 저장도 설계에 포함한다

음성 녹음에는 모든 검토에서 필요하지 않은 정보가 들어 있을 수 있습니다. 어떤 대화를 보존할지, 누가 들을지, 얼마나 오래 근거가 유용한지 정하세요. 평가 목적 없이 넓게 수집하기보다 파일럿에 의미 있는 최소 집합을 사용하세요.

Confident AI 데이터 처리 가이드는 프로젝트마다 데이터와 접근권을 가진 별도 작업 공간을 설명합니다. 이는 실용적인 조직 경계를 제공합니다. 한 용도를 검토하는 사람이 다른 용도의 녹음까지 자동으로 필요로 하지는 않습니다. 데이터 처리, 2026년 10월 14일 업데이트.

10월 23일 변경 기록은 크레딧 계산과 GB-month 단위의 추적 저장량도 도입합니다. 오디오를 평가하는 팀은 수집을 넓히기 전에 현재 요금제와 실제 사용량을 확인해야 합니다. 기술적으로 수집이 성공하는 것은 유지 가능하고 비용을 감당할 검토 절차의 일부입니다. 사용량 변경.

대화 품질은 다시 들을 수 있을 때 개선의 근거가 된다

이번 릴리스에서 흥미로운 방향은 품질 판단과 실제 경험의 연결입니다. 시각 표시, 재생 가능한 클립, 검토 판단이 개발자에게 구체적으로 개선할 대상을 줍니다. 모델이나 상호작용 규칙을 바꾼 뒤 돌아볼 기록도 남깁니다.

자연스럽게 들리는 에이전트는 대화 전체에서 신뢰를 얻습니다. 사용자의 말을 듣고, 적절한 순간에 반응하고, 작업을 명확히 끝내야 합니다. 이를 함께 평가하면 녹음은 모니터링 시스템의 파일 하나를 넘어 더 나은 대화의 근거가 됩니다.

출처

• Confident AI 제품 변경 기록, 2026년 10월 23일.
• 추적의 오디오, 2026년 10월 27일 확인.
• 멀티모달 추적과 미디어 제한, 2026년 10월 9일 업데이트, 10월 27일 확인.
• 분류기 작업, 2026년 10월 6일 업데이트. 새 오디오 및 스팬 기능의 근거는 10월 23일 변경 기록입니다.
• 데이터 처리, 2026년 10월 14일 업데이트.
• 공식 문서 이미지와 저장소, Apache 2.0 라이선스. 사례와 12개 클립 파일럿은 설명용이며 탐지기 정확도 벤치마크는 수행하지 않았습니다.

Telli.sh의 추천

대화 변경의 근거가 된 검토 메모, 예시 전사문, 결정을 나중에도 쉽게 찾을 수 있게 보관하세요. Telli.sh 계정을 만들고 녹음과 참고 메모를 정리해 보세요.