AI Tools7분 분량

전화 상담 AI는 언제 말을 멈춰야 할까?

ElevenLabs가 발언 순서와 끼어들기, 모델 선택을 맡는 엔진을 공개 시연했습니다. 예약을 바꾸는 통화로 대화 전체를 어떻게 시험할지 살펴봅니다.

K
Ken Jo

자동 전화 상담원이 목요일 오전 예약을 확인하기 시작합니다. 발신자가 말을 끊습니다. “죄송한데, 다음 주 목요일이요.” AI의 말이 자연스러워도 이전 예약을 계속 읽거나 요청을 끝까지 듣기 전에 날짜를 바꾸면 대화는 더 어려워집니다. 말을 멈추고 상대가 마저 이야기하게 한 뒤, 올바른 상태로 돌아올 수 있을까요?

2026년 11월 11일 ElevenLabs는 뉴욕 서밋에서 Interaction Engine을 프리뷰로 공개했습니다. 회사에 따르면 이 시스템은 발언 순서와 끼어들기를 처리하고, 대화의 각 부분에 다른 언어 모델을 고를 수 있습니다. 초기 분류는 저렴한 모델에, 복잡한 일은 더 유능한 모델에 맡기는 예를 들었습니다. 발표는 프리뷰를 소개했으며 정식 제공일은 밝히지 않았습니다. ElevenLabs 서밋 발표

예약 변경은 이 아이디어를 평가하기 좋은 사례입니다. 발신자의 말을 듣고 이전 의도를 새 의도로 바꿔야 하며, 마지막에 읽어 주는 확인 내용은 예약 시스템과 일치해야 합니다. 대화의 공백이나 발언 겹침은 첫 확인 항목일 뿐입니다.

잘 멈춘 대화에서는 발신자가 말을 끝낼 수 있습니다

AI가 말하는 중에 상대가 소리를 내는 이유는 여러 가지입니다. 중요한 내용을 바로잡으려는 것일 수도 있고, 듣고 있다는 뜻으로 ‘네’라고 답한 것일 수도 있고, 옆 사람에게 말한 것일 수도 있습니다. 끼어들기를 감지하려면 이런 경우를 충분히 잘 구분해야 합니다. 아무 소리에나 멈추면 처음에는 민첩해 보여도 통화 내내 흐름이 끊깁니다. 정정하는 말을 계속 덮으면 5초면 끝날 설명을 반복해야 할 수 있습니다.

예약 예시를 두 가지로 들어 봅시다. 첫 번째는 새 시간을 읽는 중에 발신자가 “맞아요”라고 합니다. AI는 말을 이어가도 됩니다. 두 번째는 “잠깐만요, 다음 주 목요일 점심 이후요”라고 합니다. 이전 문장을 멈추고, 주가 바뀌었다는 점과 새 시간대 선호를 모두 들을 수 있도록 기다려야 합니다. 다음 응답이 두 정보를 반영하는지가 성공 기준입니다.

에이전트가 말을 멈추고 발신자의 정정을 끝까지 들은 뒤 변경 내용을 확인하는 흐름

상대에게 발언을 넘겨야 정정이 온전한 요청이 될 수 있습니다. Telli.sh 제작.

전화 음질은 경계 판단을 더 어렵게 만듭니다. 날짜를 말하기 전에 잠깐 쉬거나, 군말을 넣거나, 연결이 끊기는 동안 말을 반복할 수 있습니다. 사람들이 실제 사용하는 채널에서 상호작용을 시험하고 음성 조건을 기록하세요. 깨끗한 데모는 설계가 가능하다는 것을 보여 줍니다. 생활 소음이 섞인 평범한 통화에서는 실제 발신자가 말을 끊는 방식에도 견디는지 알 수 있습니다.

음성에서 음성까지 측정하세요. 실제 정정이라면 발신자의 의미 있는 첫 소리부터 AI 음성이 완전히 멎을 때까지 시간을 잽니다. 채널에 이미 버퍼링된 음성도 포함하세요. 발신자의 발언이 끝난 뒤 응답에서 처음으로 유용한 말이 나오기까지의 시간도 측정합니다. 빠른 “잠시만요”가 조회 지연을 예상하게 해줄 수 있지만, 실제 답이 몇 초 뒤에 오면 별도로 세어야 합니다.

말로 한 확인과 예약 기록이 어긋날 수 있습니다

발신자가 말을 끊었을 때 AI는 이번 주 목요일의 빈 시간만 찾아 둔 상태였다고 해보죠. 이전 제안을 버리고 다음 주 목요일을 조회해 가능한 시간을 안내할 수 있습니다. 다른 시스템은 전체 날짜를 읽어 주기 전에 “목요일 괜찮아요”라는 말만 듣고 변경을 보낼 수 있습니다. 발신자가 정정했을 때는 이전 변경이 이미 예약 서비스에 도착했을 수 있습니다. 음성을 끈다고 그 변경이 취소되지는 않습니다.

시험에서 이 상태들을 분리하세요. 제안 상태의 예약은 새 내용을 다시 읽어 줘야 합니다. 변경 중이라면 백엔드 결과를 확인해야 합니다. 변경이 성공했다면 현재 상태를 설명하고 승인된 정정 절차를 따릅니다. 실패하거나 시간이 초과됐다면 완료했다고 말하거나 다시 변경하기 전에 현재 상태부터 확인해야 합니다. 구체적인 복구 방법은 기존 예약 시스템의 규칙에 따릅니다.

발신자 행동들려야 할 응답예약 시스템의 기대 결과
확인을 읽는 중 “맞아요”발신자가 발언을 이어가지 않으면 계속 안내추가 쓰기 없음
승인 전에 “잠깐만요, 다음 주 목요일이요”이전 안내를 멈추고 정정을 끝까지 들음새 날짜가 확인될 때까지 변경 없음
변경 요청 처리 중에 정정정정을 인정하고 기존 요청의 결과를 확인다음 조치 전에 검증된 상태를 알림
사람과 통화를 요청요청을 확인하고 기존 인계 절차 시작현재 상태와 아직 해결되지 않은 요청을 함께 전달

합성 예약을 넣은 테스트 환경으로 시험하세요. 통화와 예약 처리의 타임라인을 모두 기록합니다. 시간 기준이 같거나 차이가 명시돼야 합니다. 말로는 변경이 성공했다고 했지만 시스템에는 기록이 없거나, 발신자가 요청을 거둔 뒤에도 변경이 성공한 순간을 찾으세요. 인사말이 느린 것과는 다른 결함입니다.

한 발언 안에서도 일에 따라 모델을 골라야 합니다

ElevenLabs는 대화 중 어느 모델을 쓸지 정하는 방식으로 프리뷰를 소개합니다. 예약 통화에 대입하면 구체적입니다. 일정 변경 의도를 파악하고, 승인된 도구로 기록을 찾고, 드문 정책을 해석하고, 상담원 인계가 필요한지 정하는 데는 서로 다른 수준의 추론이 필요할 수 있습니다. 흔한 날짜 조회는 쉽지만, 여러 서비스와 충돌하는 정책이 걸린 변경은 더 신중하게 처리하거나 사람에게 넘겨야 할 수 있습니다.

음성 작업에서 일상 분류, 검증된 조치, 복잡한 예외를 서로 다른 경로로 보내는 과정

결과의 영향에 따라 처리 경로를 정하고, 각 인계 단계에서 대화 상태를 보존하세요. Telli.sh 제작.

모델 이름 목록보다 경계가 중요합니다. 단순한 요청이 복잡해지면 예약 식별자, 현재 상태, 아직 확실하지 않은 부분처럼 확인된 맥락을 가져가야 합니다. 다른 담당자에게 넘길 때는 발신자가 원하는 것과 이미 완료한 단계를 짧게 전하세요. 좋은 인계는 발신자가 같은 말을 반복하지 않게 하면서도 다음 사람이 다시 확인할 여지를 줍니다.

분류기가 얼마나 자주 잘못된 경로를 고르는지 재세요. 예를 들어 “예약 둘 다 옮겨 주세요”는 날짜 하나를 바꾸는 것과 다른 흐름일 수 있습니다. 승인받기 전에 예약 두 건을 모두 알아챘는지 확인합니다. 복잡한 사례가 초기 분류에서 시작해 맥락을 갖춘 채 곧바로 상위 단계로 올라갔다면 감수할 수 있습니다. 이전 예약과 새 예약이 불일치한 상태로 끝났다면 저렴한 분류 선택이 후속 비용을 만든 것입니다.

프리뷰는 초기 분류에 저렴한 모델을 골라 토큰 사용량을 낮출 수 있다고 설명합니다. 실제 상담센터 비용에는 재통화, 상위 단계 인계, 중도 종료도 영향을 줍니다. 사람이 해야 할 후속 작업까지 넣어 올바르게 해결한 건당 비용을 비교하세요. 통화가 40초 만에 끝났지만 다음 날 다시 전화해야 했다면 비용이 다른 곳으로 옮겨갔습니다.

작게 만들어 반복할 수 있는 시험을 설계하세요

합성 예약을 목요일에서 다음 주 목요일로 옮기는 것처럼 결과가 정해진 사례로 시작하세요. 기대하는 음성 답변과 예약 시스템 상태를 적어 둡니다. 그런 다음 확인 전 끼어들기, 문장 중간 정정, 짧은 맞장구를 추가합니다. 의도적인 침묵도 넣으세요. 달력을 보려고 잠시 쉰 발신자가 관계없는 답변에 떠밀리지 않고 말을 이어갈 수 있어야 합니다.

  1. 각 정정의 시작과 끝, AI 음성이 실제로 멈춘 시점을 표시합니다.
  2. 응답이 정정 사항을 모두 반영했는지 보고, 사용자가 반복해야 했던 내용이 있는지 기록합니다.
  3. 대화와 백엔드 상태를 비교합니다. 중복 쓰기, 잘못된 날짜, 근거 없는 완료 안내를 찾습니다.
  4. 조용한 환경과 소음이 있는 환경에서 화자와 연결 조건을 바꿔 같은 대본을 실행합니다.
  5. 구현별로 완료 여부, 검증된 결과까지의 시간, 잘못된 경로 선택을 비교합니다.

중요한 실패를 잡을 만큼 넓되, 검토자가 통화를 하나씩 들을 수 있을 만큼 작게 유지하세요. 깨끗한 통화에서 두 시스템이 1초도 안 되는 차이를 보였다면 고르기 전에 더 중요한 사례를 살펴봅니다. 확실한 확인과 명료한 인계가 작은 속도 이득보다 중요할 수 있습니다. 같은 시간 차이 때문에 발신자가 두 번 끼어드는 빈도가 달라지면 그때는 수치의 의미가 달라집니다.

평균뿐 아니라 늦게 반응한 통화도 확인하세요

합성 통화 열 건을 생각해 봅시다. 아홉 건은 AI가 정정을 빠르게 듣습니다. 열 번째는 긴 문장 위로 발신자가 말을 하고, AI가 멈추기 전에 정정을 반복합니다. 평균 지연은 괜찮아 보여도 사용자 신뢰를 가장 크게 해치는 것은 마지막 통화입니다. 개별 사례를 보관하고 표본이 충분하면 시간 분포의 느린 쪽도 보고하세요. 작은 시험에서는 실제 범위를 보여 주고 가장 느린 통화를 직접 들어 봅니다.

자기에게 한 말이 아닌데도 멈추면 개선된 것처럼 보일 수 있습니다. 짧은 확인과 긴 설명을 읽을 때 같은 배경 대화를 재생해 보세요. 잘못 멈춘 비율과 다시 말하기 시작하는 위치가 이해하기 쉬운지 확인합니다. 같은 순간에 실제 정정이 들어오는 짝 통화도 실행하세요. 그래야 민첩한 감지와 과민한 감지를 나눠 볼 수 있습니다. 미리 연습한 “잠깐만요” 외에도 실제 발신자가 반대하거나 정정할 때 자주 쓰는 표현을 넣으세요.

각 결과가 사용자에게 주는 부담을 정하세요. 가벼운 맞장구를 잘못 감지하면 잠시 정적이 생깁니다. 정정을 놓치면 어느 날짜가 잡혔는지 불확실해집니다. 잘못 분류하면 발신자가 같은 내용을 반복하는 흐름에 갇힐 수 있습니다. 빈도와 복구에 드는 일을 함께 표로 만들면 어떤 결함부터 고칠지 정하기 쉽습니다. 다음 AI나 사람이 발신자에게 처음부터 설명을 다시 요구하지 않고 현재 예약을 말할 수 있는지도 시험하세요.

채널에 따라서도 음성 타이밍은 달라집니다. 조용한 방에서 브라우저로 한 통화와 압축된 휴대전화 통화는 발언 순서에 대해 서로 다른 근거를 줍니다. 각 녹음 위치, 스피커폰 사용 여부, 타임스탬프가 발신자 쪽 소리인지 서비스 내부 사건인지 기록하세요. 기존 시스템과 새 시스템을 비교할 때 같은 방법을 쓰세요. 발신자가 언제 차이를 느낄지 설명하는 것이 비교의 목적입니다.

넓게 적용하기 전에 소수 검토자에게 어떤 시스템이 통화를 맡았는지 알려 주지 않고 평가를 부탁하세요. 기대 예약 결과를 준 뒤 발신자의 말을 이해했는지, 정정을 반복했는지, 마지막으로 읽어 준 결과가 맞는지 묻습니다. 이 검사와 예약 기록을 합치면 자연스러운 음성과 정확한 작업 완료 사이의 차이가 드러날 수 있습니다.

ElevenLabs는 음성·채팅 에이전트를 구성하고 운영하는 ElevenAgents를 이미 제공합니다. 서밋 글은 Interaction Engine을 별도 프리뷰로 소개하며 다른 발표 기능의 일정도 따로 설명합니다. 제안한 시험은 현재 음성 시스템에서 실행하고, 프리뷰를 쓸 수 있을 때 반복할 수 있습니다. 같은 통화 대본과 기대 결과로 비교를 시작할 수 있습니다. ElevenLabs 서밋 및 플랫폼 발표

완벽한 대본보다 중간 정정이 더 좋은 시연입니다

고객이 말하다가 생각을 바꾸고, 수정된 확인을 들은 뒤 실제로 올바른 예약을 찾을 수 있다면 시스템 전체가 일상 대화를 처리한 것입니다. 발신자가 완벽한 대본을 따르는 동안 목소리가 자연스럽게 들리는 것보다 더 좋은 목표입니다.

출처


고객 통화와 검토 회의의 메모를 검색 가능한 기록으로 정리하려면 Telli.sh 계정을 만들어 보세요.


← 블로그로 돌아가기