Eleven Realtime 공개: 음성 AI의 경쟁이 목소리에서 대화 전체로 넓어진다

고객 지원용 ElevenLabs UI 음성 대화 컴포넌트의 공식 미리보기입니다. 출처: elevenlabs/ui, 저작권 2025 Eleven Labs Inc., MIT 라이선스. 음성 인터페이스 예시이며 Realtime 모델의 실험 결과는 아닙니다.

음성 대화가 어색해지는 순간은 답변이 나오기도 전에 찾아옵니다. 날짜를 떠올리려고 잠깐 멈췄는데 비서가 먼저 말하기 시작합니다. 이름을 정정했는데 이미 준비하던 문장을 끝까지 읽습니다. 목소리는 훌륭한데 대화 상대가 협조적이지 않게 느껴지는 것입니다. 전화 비서나 튜터, 대화형 캐릭터를 만드는 사람에게는 이런 작은 실패가 음성 자체의 품질만큼 중요할 수 있습니다.

ElevenLabs는 10월 20일 Eleven Realtime v1 Mini와 v1 Max를 공개했습니다. 개발자가 조립할 부품 하나를 더 내놓기보다 완성된 음성 에이전트 모델로 제시했습니다. Mini는 비용 부담이 작은 일상적 대화, Max는 복잡한 지시와 여러 단계를 거치는 업무를 겨냥합니다. 이번 발표의 의미는 대화를 구성하는 더 많은 부분을 하나의 제품 선택으로 묶었다는 데 있습니다. 동시에 오래된 질문도 더 선명해집니다. 목소리가 유능하게 들릴 때, 실제로 일이 끝났는지는 어떻게 알 수 있을까요? 공식 발표.

우리가 주목하는 부분은 구성 요소 사이를 조정하는 데 쓰던 시간을 줄일 가능성입니다. 그 가능성을 판단할 기준은 정정과 끼어들기를 견디면서 올바른 결과를 만드는 대화입니다. 잘 다듬어진 시연은 첫인상을 보여줄 수 있습니다. 제품의 가치는 평범하고 복잡한 고객 요청에서 드러납니다.

익숙한 음성 기술이 더 큰 역할을 맡는다

ElevenLabs를 주로 합성 음성으로 알고 있던 독자라면 회사의 현재 제품 구성을 함께 볼 만합니다. 회사는 콘텐츠 제작용 ElevenCreative, 실제 대화형 에이전트를 운영하는 ElevenAgents, 개발자용 ElevenAPI라는 세 플랫폼을 소개하고 있습니다. Realtime은 오디오를 완성된 파일로 만드는 데서 나아가 애플리케이션 안에서 작동하게 하려는 흐름에 놓여 있습니다. 음성의 품질과 상호작용의 동작을 함께 다루는 배경이기도 합니다. ElevenLabs 회사·제품 소개.

오디오 클립에는 비교적 분명한 경계가 있습니다. 글을 쓰고 음성을 생성하면 청자가 결과를 듣습니다. 실시간 에이전트는 계속 바뀌는 상황 속에서 움직입니다. 상대는 중간에 끼어들고, 질문을 바꾸고, 빠진 정보를 보태거나 처음 요청이 잘못됐다고 말할 수 있습니다. 잠깐의 침묵이 “이제 당신 차례”인지 “아직 생각 중”인지도 판단해야 합니다. 대화 뒤편의 시스템을 다루면서 사람의 의도와 이해를 맞춰 가야 하는 셈입니다.

이는 한 문장을 그럴듯하게 읽는 것과 다른 제품 문제입니다. 예약 비서를 생각해 봅시다. 고객 이름을 완벽하게 발음하고도 날짜 정정을 놓쳐 엉뚱한 날을 예약할 수 있습니다. 좋은 음성 제품은 대화의 리듬과 실제 처리 기록을 함께 맞춰야 합니다. 한쪽만 개선하면 잘못된 일을 기분 좋게 처리하는 서비스가 될 수 있습니다.

자체 제작 인포그래픽. 모델 내부 구조가 아니라 사용자가 경험하는 대화의 흐름을 설명합니다.

설정을 맡기면 구성이 간단해지고 통제할 부분도 달라진다

문서가 설명하는 구분은 실용적입니다. Custom 모드에서는 개발자가 언어 모델, 음성 모델, 인식 설정을 선택합니다. Realtime 모드에서는 그 선택을 ElevenLabs가 관리하고, 에이전트의 지시문·목소리·도구와 지원되는 대화 설정 등은 유지됩니다. 접근 권한은 점진적으로 배포되고 있어 모든 워크스페이스에 설정이 보이는 것은 아닙니다. 기존 에이전트가 충족해야 할 호환성·지역 제약도 있습니다. Realtime 모델 문서.

이 교환은 유용할 수 있습니다. 작은 팀은 내부 구성 요소를 모두 고르는 것보다 비서가 끼어들기에 잘 대응하는지를 더 중요하게 여길 수 있습니다. 관리형 구성은 일관된 출발점과 더 적은 문제 조합을 제공합니다. 그만큼 고객이 묻는 질문, 사업자가 실제 보유한 정보, 사람이 이어받아야 할 시점을 다듬는 데 시간을 쓸 수 있습니다.

반면 설정이 줄면 독립적으로 교체할 수 있는 부분도 줄어듭니다. 특정 동작이 맞지 않을 때 설정을 바꿀 수 있는지, 모델을 바꿔야 하는지, Custom 구성으로 돌아가야 하는지를 알아야 합니다. 비교할 대상은 쓸 만한 에이전트를 유지하는 전체 노력입니다. 세세한 설정은 부담이 될 수 있고 통합된 제품은 제약이 될 수 있습니다. 어느 쪽 비용이 더 큰지는 업무와 시연 이후 운영할 사람에 따라 달라집니다.

시제품이 공동 서비스로 바뀔 때 이 문제가 특히 중요해집니다. 처음 만든 사람은 특성을 이해하지만 고객, 지원팀, 다음 개발자는 그런 배경 없이 동작을 경험합니다. 선택지가 적더라도 일반적인 상황에서 일관되게 작동하는 제품에는 가치가 있습니다. 그 일관성이 눈에 보이고 검증 가능하며 서비스의 책임과 맞을 때 그렇습니다.

다른 음성 시스템은 통제 지점을 다른 곳에 둔다

대안과 나란히 보면 ElevenLabs의 선택이 더 분명해집니다. OpenAI의 음성 에이전트 가이드는 실시간 음성 상호작용과, 음성을 글로 옮긴 뒤 텍스트 에이전트를 실행하고 다시 음성으로 만드는 연결형 구성을 구분합니다. 연결형 구성에서는 중간 텍스트를 살펴보고 개별 구성 요소를 교체할 수 있다는 점을 설명합니다. 이는 구조를 비교하는 근거이며, Eleven Realtime이 공개하지 않은 내부 구조에 대한 설명은 아닙니다. 같은 고객 대화도 관찰하고 바꿀 수 있는 지점을 어디에 두느냐에 따라 다르게 만들 수 있습니다.

조직이 명확한 검토 단계를 원한다면 텍스트 단계가 유용할 수 있습니다. 교육 서비스는 학습자의 답을 에이전트가 어떻게 이해했는지 살펴보고, 전문 지원팀은 답변을 읽기 전에 용어 처리를 적용할 수 있습니다. 중간 기록이 있으면 구체적으로 확인할 대상이 생깁니다. 대신 유지해야 할 구성 요소 사이의 경계도 늘어납니다. 생동감 있는 캐릭터나 자유롭게 이야기를 나누는 서비스라면 더 통합된 상호작용을 선택하고 다른 범위의 제어 기능을 받아들일 수 있습니다.

선택을 가르는 것은 팀이 신뢰할 수 있는 확인 지점을 어디에 두어야 하느냐입니다. 중간 전사문, 대화 이벤트, 완료된 실행 중 무엇을 살펴야 하는지가 다릅니다. 유망한 통합 제품이 나와도 어떤 팀이 자체 구성을 유지할 수 있는 이유입니다. ElevenLabs의 상업적 기회는 관리형 구성이 적합한 업무를 늘리는 데 있습니다. 세부 조립이 음성 서비스를 만들기 위한 입장료가 아니라 선택 사항이 되는 것입니다.

망설임과 끼어들기는 다르게 받아들여야 한다

프레임워크 관점에서는 또 다른 요소가 보입니다. LiveKit의 대화 차례 처리 문서는 잘못 감지한 끼어들기를 별도로 다룹니다. 음성 활동 때문에 에이전트가 말을 멈췄지만 사용자 발화 텍스트는 나오지 않을 수 있고, 설정된 시간이 지나면 말을 다시 이어 갈 수 있습니다. ElevenLabs가 같은 방식을 쓴다는 뜻은 아닙니다. 음성 제품의 예의 바른 인상이 말을 만드는 모델뿐 아니라 애플리케이션의 동작에도 달려 있음을 보여줍니다.

상대가 “잠깐, 다른 주소요”라고 말하는 상황과 듣다가 기침하는 상황을 비교해 봅시다. 둘 다 비서가 말하는 도중 소리를 내지만, 요청을 바꾸는 것은 한쪽입니다. 주변 소리가 날 때마다 처음부터 설명하는 서비스는 피곤하고, 실제 정정을 무시하는 서비스는 믿기 어렵습니다. 오디오에서 활동을 얼마나 빨리 감지했는지보다 올바른 맥락으로 대화를 회복하는지가 더 유용한 비교 기준입니다.

이 차이는 시험에 참여할 사람의 범위도 넓혀 줍니다. 낯선 단어를 찾거나 제2언어로 말하거나 말의 속도가 느린 사람에게는 더 긴 침묵이 필요할 수 있습니다. 이는 제안하는 평가 대상이며, 검증된 접근성 성능이나 언어 지원 범위를 뜻하지 않습니다. 사용자가 말을 마칠 여유를 얻는지, 대화를 회복하려고 요청 전체를 반복해야 하는지 살펴볼 만합니다. 평균 응답 속도만으로는 이런 부담이 가려질 수 있습니다.

기대되는 부분은 고객마다 별도의 타이밍 로직을 만들지 않아도 관리형 대화 모델이 경험을 개선할 가능성입니다. 남는 질문은 기본 대화 리듬이 맞지 않을 때 개별 앱이 얼마나 조정할 수 있느냐입니다. 시연에서도 구체적으로 확인할 수 있습니다. 말하는 사람이 망설이고, 세부 사항을 정정한 뒤, 다시 말을 잇도록 해 보고 에이전트가 이해한 내용과 실제 도구에 전달한 내용을 확인하는 것입니다. 대화의 편안함을 검증 가능한 결과와 연결할 수 있습니다.

Mini와 Max는 대화와 복잡한 실행의 요구를 나눈다

두 이름은 무조건 큰 모델을 고르라는 신호보다 업무를 구분하는 계기가 되어야 합니다. 언어 연습용 캐릭터와 환불 절차를 따르는 서비스 에이전트가 마주하는 문제는 다릅니다. 전자는 대화를 이어 가며 실수에 적절히 반응해야 합니다. 후자는 정책을 찾고 주문을 확인하고 자격을 판단한 뒤 외부 시스템 처리 결과까지 알려야 할 수 있습니다.

가벼운 대화에는 큰 모델이 불필요할 수 있습니다. 반대로 저렴한 모델이 미해결 사례를 직원에게 반복해서 넘기면 전체 비용은 커질 수 있습니다. 분당 가격은 청구액을 예상하는 데 유용합니다. 제품을 업무에 넣을지 결정할 때는 올바르게 끝낸 대화 한 건의 비용이 더 유용합니다. 여기에는 복구, 재통화, 그럴듯한 오류를 사람이 고치는 노력도 포함됩니다.

업체의 제품 포지셔닝을 바탕으로 만든 자체 인포그래픽. 모든 언어와 업무에서 측정한 품질 순위가 아닙니다.

발표에는 Artificial Analysis의 평가로 소개된 수치가 실려 있습니다. 도구 사용 과제 완료율은 Max 87.1%, Mini 60.3%이고, 대화 동작 평가에서는 Mini가 소폭 앞섭니다. 이는 업체 발표에 실린 벤치마크 수치이며 우리가 운영 환경에서 측정한 결과가 아닙니다. 여기서 얻을 만한 시사점은 대화의 자연스러움과 도구 실행 완료가 서로 다를 수 있다는 것입니다. 특정 회사의 전화 업무 성공률을 입증하는 숫자는 아닙니다. 발표와 벤치마크 설명.

따라서 품질을 순위 하나로 압축하지 않는 편이 좋습니다. 박물관 전시를 설명하는 에이전트라면 대화 타이밍의 비중이 클 수 있습니다. 예약을 변경한다면 정확한 최종 상태가 더 중요합니다. 이번 제품은 두 출발점을 주지만 품질의 정의는 여전히 업무가 정합니다.

평범한 세 장면에서 필요한 능력이 달라진다

외국어로 식당 대화를 연습하는 학습자를 떠올려 봅시다. 주문 도중 멈춰 단어를 찾다가 다시 말합니다. 유용한 튜터는 그 머뭇거림을 기다리고, 대화를 빼앗지 않으면서 도움을 줍니다. 이점은 연습을 계속할 자신감입니다. 모든 침묵을 강의할 기회로 오해하는 비서는 실패한 경험을 만듭니다. 이 가상 사례에서는 대화 협력이 핵심이며 교육 내용의 품질은 별도로 검토해야 합니다.

예약 서비스는 다릅니다. 고객이 금요일을 요청했다가 “아니요, 다음 주 월요일 점심 이후요”라고 정정합니다. 에이전트는 바뀐 내용을 예약 제안에 반영하고 중요한 처리를 하기 전에 세부 사항을 확인해야 합니다. 예약 시스템이 응답한 뒤에는 그 결과에 맞게 말해야 합니다. 시스템이 수락하기 전에 친근한 목소리로 “다 됐습니다”라고 하면 발화가 아무리 자연스러워도 실패입니다.

대화형 캐릭터에는 또 다른 균형이 있습니다. 가상 세계 안에서 상상력 있는 답을 해도 되지만 플레이어는 현재 장면을 기억하고 끼어들면 멈추기를 기대합니다. 사업적 결과도 거래 완료보다 몰입감 있는 교환일 수 있습니다. 캐릭터에게 생동감을 주는 동작이 고객 지원에서는 회피처럼 느껴질 수 있습니다. ‘음성 에이전트’를 하나의 동일한 범주로 평가하기 어려운 이유입니다.

호환성은 비교 비용을 낮추지만 확인할 경계가 있다

ElevenLabs는 ElevenAgents와 OpenAI 호환 Realtime API를 통해 접근 경로를 제공합니다. 발표의 API 예시는 기존 클라이언트에서 연결 대상과 모델을 바꾸지만, WebSocket 전용 연결이라는 조건과 관리형 플랫폼과의 분리도 명시합니다. 따라서 WebRTC 통합은 모델 이름만 바꾸는 작업이 아닙니다. 관리형 채널이나 지식 베이스 기능이 API에 자동으로 따라온다고 가정해서도 안 됩니다. API 접근과 이전 안내.

호환성의 가치는 비교를 쉽게 한다는 데 있습니다. 기존 애플리케이션을 더 많이 유지하면서 다른 업체를 시험할 수 있습니다. 서로 다른 시연을 비교하는 대신 같은 업무·지시문·도구로 비교하기가 쉬워집니다. 그렇다고 이벤트 동작, 재연결, 도구 응답, 실패 표시를 확인할 필요가 사라지지는 않습니다.

이런 덜 화려한 세부 사항이 고객 경험을 결정합니다. 예약 요청 후 연결이 끊기면 고객에게 다시 말해 달라고 하기 전에 예약이 실행됐는지 알아야 합니다. 도구가 시간 초과됐을 때 도구 호출을 반복하는 것은 질문을 다시 말하는 것과 결과가 다를 수 있습니다. 모델 교체의 성공은 첫 음성이 재생되는 데서 끝나지 않고 이런 상황에서도 전체 앱이 올바르게 작동하는 데 있습니다.

자연스러운 목소리가 미완료 작업을 완료처럼 들리게 할 수 있다

모델을 고를 때는 비교 조건을 일정하게 유지해야 합니다. 큰 모델에만 더 정리된 지식 베이스, 더 좋은 지시문, 더 안정적인 도구를 주면 무엇이 개선을 만들었는지 알기 어렵습니다. 같은 대표 요청으로 시작하고 주변 업무를 바꾸기 전에 실패를 살펴야 합니다. 타이밍 문제에는 대화 설정이, 잘못된 정책 답에는 더 좋은 출처가, 미완료 예약에는 도구 연동 수정이 필요할 수 있습니다. 더 유능한 모델이 일부 문제를 도울 수 있지만 어느 모델에서도 남을 잘못된 연결을 가려서는 안 됩니다.

제품의 강점은 오류를 알아보기 어렵게 만들 수도 있습니다. 사람은 어조, 속도, 자신감을 대화의 단서로 사용합니다. 유창한 비서는 그럴듯한 응답을 만들었을 뿐인데 확인을 마친 것처럼 들릴 수 있습니다. 텍스트 화면에서는 답을 살펴볼 여지가 더 있을 수 있습니다. 통화는 계속 진행되고 문제의 세부 사항은 흐름 속에 사라질 수 있습니다.

대응은 말투보다 실제 동작에 있어야 합니다. 설명, 실행 제안, 확인된 결과를 구분해야 합니다. 확인 중인지, 요청이 대기 중인지, 사람의 도움이 필요한지를 에이전트가 말할 수 있어야 합니다. 그 상태는 지시문 속 안심 문구가 아니라 애플리케이션의 실제 상태와 맞아야 합니다. 사실대로 잠시 기다리게 하는 편이 나중에 수리할 일을 만드는 즉답보다 나은 서비스일 때가 많습니다.

사람에게 넘길 때도 연속성이 필요합니다. 몇 분의 자동 대화 끝에 직원과 연결된 고객이 모든 내용을 기억해 다시 설명해서는 안 됩니다. 유용한 인계에는 현재 요청, 중요한 정정, 해결하지 못한 단계가 담깁니다. 에이전트가 확신하지 못한 부분은 불확실한 상태로 남아야 합니다. 그렇지 않으면 통화 앞부분에서 아낀 시간을 해결 담당자에게 옮겨 놓을 뿐입니다.

자체 제작 평가 틀. 실제 시험 결과를 표시한 그림이 아닙니다.

다음 평가 기준은 해결된 대화다

의미 있는 시범 운영이라면 동의를 받은 대표 대화를 사용할 것입니다. 짧고 긴 요청, 끼어들기, 정정, 여러 언어, 사람에게 넘겨야 하는 사례를 포함합니다. 의도한 처리가 일어났는지, 사람이 얼마나 개입했는지, 완료된 대화의 비용은 얼마인지 검토합니다. 첫 음성까지의 속도도 보되 빨리 답했다가 수정이 필요했던 사례도 셉니다. 이는 제안하는 평가 방식이며 우리가 Realtime에 직접 수행한 시험은 아닙니다.

가장 기대할 만한 결과는 불필요한 질문을 줄이면서 필요한 질문은 할 줄 아는 에이전트입니다. 튜터는 학생이 생각을 마칠 시간을 주고, 예약 비서는 정정된 날짜를 확인하며, 지원 에이전트는 맥락을 넘깁니다. 말로 설명하면 작아 보이지만 자동 대화를 지치게 만드는 마찰을 없애므로 체감은 클 수 있습니다.

Eleven Realtime은 이 방향을 구체적인 제품으로 제시합니다. 더 많은 팀이 오디오 시스템의 모든 구성 요소에 전문가가 되지 않고도 유용한 음성 상호작용을 만들 수 있게 할 가능성이 있습니다. 장기적인 의미는 통합된 대화 동작이 신뢰할 수 있는 업무 완료로 이어지는지에 달려 있습니다. 목소리는 사용자를 대화로 이끕니다. 다음에도 대화하고 싶게 만드는 것은 결과입니다.

---

출처

• Eleven Realtime 발표와 벤치마크 설명, 2026년 10월 20일.

• Realtime 모드·배포·제약 문서, 2026년 10월 21일 확인.

• ElevenLabs 플랫폼 배경, 2026년 10월 21일 확인.

• OpenAI 음성 에이전트 구조, 2026년 10월 21일 확인.

• LiveKit 대화 차례 처리, 2026년 10월 21일 확인.

대화를 나중에도 검토할 수 있도록

동의를 받아 보관한 녹음과 직접 검토한 메모를 별도 공간에서 관리하고 싶다면 Telli.sh도 한 가지 선택입니다. 오디오 노트로 시작하기.