AI Tools7분 분량

새 AI 상담원이 같은 환불 문의를 더 잘 처리할까? 배포 전에 비교해 보자

NiCE Cognigy의 다변량 테스트는 고객센터 에이전트를 배포 전에 비교한다. 환불·해지·상담원 연결을 검증하면 매끄러운 데모가 놓치는 문제를 찾을 수 있다.

K
Ken Jo

고객이 전화를 건다. 반품 상품이 창고에 도착한 지 8일이 지났는데 환불이 아직 입금되지 않았다. 한 AI 상담원은 내일 돈이 들어온다고 약속한다. 다른 상담원은 주문을 조회해 환불이 시작됐지만 아직 처리 중이라고 설명하고, 고객이 금액에 이의를 제기하자 담당자에게 연결한다. 둘 다 능숙하게 들린다. 실제로 어떤 일이 있었는지는 주문 시스템과 연결 기록을 봐야 알 수 있다.

고객센터 소프트웨어 업체 NiCE Cognigy는 2026년 11월 12일 에이전트 플랫폼의 새 버전을 공개했다. 다변량 테스트(Multivariate Testing)는 에이전트 버전, 언어 모델, 에이전트 또는 시나리오를 달리한 시뮬레이션을 나란히 실행한다. 발표에는 스킬 실행, 도구 호출, 모델 사용을 확인할 수 있는 에이전트 실행 기록도 포함됐다. 새 환경은 11월 12일부터 체험 계정에서 사용할 수 있고, 기존 고객에게는 11월부터 순차 적용된다. NiCE Cognigy 제품 업데이트

첫 비교에는 같은 고객 문제를 처리하는 에이전트 두 버전이면 충분하다. 환불, 해지, 상담원 연결을 각각 시험하면 실제 고객을 응대하기 전에 어떤 결과를 확인해야 하는지 드러난다. 고객이 겪어야 할 상황을 먼저 정하고, 그에 맞는 시스템 상태를 검증하자.

상담 결과를 검증할 수 있어야 한다

환불 문의에는 정답이 여러 가지다. 결제가 아직 처리 중이면 현재 상태와 확인 방법을 안내할 수 있다. 반품은 입고됐는데 환불이 시작되지 않았다면 기존 정책을 따르거나 필요한 권한이 있는 팀에 넘겨야 할 수 있다. 고객이 계정에 접근할 권한을 확인하지 못했다면 주문 상태를 공개하지 않아야 한다. ‘환불 문의’라는 시나리오 하나로는 세 가지 판단을 구분하기 어렵다.

테스트마다 시작 상태와 허용되는 최종 상태를 명시하자. 한 테스트의 초기 데이터에는 환불이 진행 중이고 참조 번호가 이미 있다고 적는다. 통과하려면 에이전트가 상태를 읽고 두 번째 환불을 생성하지 않아야 한다. 별도 테스트에서는 주문 조회 도구가 오류를 반환한다. 이 경우 상태를 확인하지 못했다고 설명하고 이용 가능한 지원 경로를 안내하거나 연결해야 한다. 기대 결과는 업무 정책과 시스템 상태에 따라 결정한다.

고객이 어떤 말로 요청하는지도 중요하다. “그냥 이제 끝났으면 좋겠어요”는 환불 진행 상황을 묻는 말일 수도, 해지 의사를 내비치는 말일 수도, 오래 기다린 답답함의 표현일 수도 있다. 같은 상황을 여러 표현으로 시험하면 특정 대화록에 나온 문구만 맞혀서는 통과하기 어렵다. “상담원 연결해 주세요”처럼 직접적인 표현과 “혹시 같이 확인해 주실 분 계세요?”처럼 완곡한 표현을 함께 넣자.

같은 고객 상황을 두 에이전트 설정에서 실행해 대화록과 최종 주문 상태를 비교한다

고객 상황을 동일하게 두고 대화와 시스템 결과를 함께 비교한다. Telli.sh 자체 제작.

실제 고객센터에서는 고객이 질문한 경우와 조치를 승인한 경우를 구분하는 것도 중요하다. 고객이 해지 비용을 물어본 뒤 서비스를 계속 이용하기로 할 수 있다. 근거가 있는 비용을 안내하면서 계정을 활성 상태로 유지하는지 확인하자. 도구 호출로 눈에 보이는 변경이 발생하고 이를 사람이 되돌려야 하는 경우에는 특히 중요하다.

상황기대 동작검토할 증거
이미 환불이 진행 중중복 환불을 만들지 않고 현재 상태 안내주문 상태, 도구 호출 기록, 대화록
고객이 해지 수수료를 문의수수료를 안내하거나 확인이 어려우면 담당자에게 연결근거가 되는 정책과 계정이 변경되지 않았다는 기록
고객이 명시적으로 상담원 연결을 요청적절한 대기열로 보내고 허용된 정보 전달연결 이벤트와 담당 상담원이 받은 인계 정보
주문 조회를 할 수 없음조회 상태를 정확히 안내하고 다음 단계 제시도구 오류, 고객 안내 문구, 재시도 또는 연결 기록

나란히 비교할 때는 한 번에 하나만 바꾼다

Cognigy의 제품 업데이트는 스냅샷(Snapshots), 모델, 에이전트, 시나리오 간 비교를 설명한다. 처음에는 한 가지 조건만 바꿔 보자. 모델과 지시문을 동시에 바꾸면 더 나은 답변이 어느 쪽에서 비롯됐는지 알기 어렵다. 모델과 연결 흐름을 동시에 바꾸면 연결 오류의 원인을 찾기 어렵다. 나머지 조건을 고정하면 결과에 따라 다음 조치를 정하기 쉽다. NiCE Cognigy 제품 업데이트

첫 실행에서는 대화 정책과 도구를 고정한 채 현재 모델과 후보 모델을 비교해 보자. 가능성이 보이는 모델을 고른 뒤 프롬프트나 플로우 두 가지를 비교할 수 있다. 주문 기록, 시간에 대한 가정, 테스트 초기 데이터를 매번 동일하게 사용한다. 앞선 테스트에서 닫힌 주문이나 문의가 다음 실행에 영향을 주지 않도록 실행마다 초기 상태를 복원한다.

입력이 같아도 테스트 상호작용에는 편차가 생길 수 있다. 초기 데이터에서 유효한 경로가 여러 개라면 두 번째 실행에서 모델이 다른 결정을 내릴 수 있다. 결제, 동의, 연결이 걸린 사례는 눈에 띄는 불안정성이 드러날 만큼 반복한다. 실패 건수와 전체 횟수를 함께 적자. 세 번 중 한 번 연결에 실패한 것과 백 번 중 한 번 실패한 것은 다르게 해석해야 하며, 두 수치 모두 실제 상담 실패율을 확정하지는 못한다.

실행 기록을 보면 문제에 맞게 대응할 수 있다. 에이전트가 “환불 내역을 확인했습니다”라고 했는데 기록에 주문 조회가 없다면 근거 확인에 문제가 있다. 조회는 정상적으로 실행돼 ‘처리 중’으로 응답했는데 에이전트가 이를 ‘지급 완료’로 요약했다면 상태를 읽거나 해석하는 데 문제가 있다. 고객에게는 비슷한 오안내지만 필요한 수정은 다르다. NiCE Cognigy는 실행 기록에서 스킬 실행, 도구 호출, 모델 호출, 토큰 사용량 등을 확인할 수 있다고 설명한다. NiCE Cognigy 제품 업데이트

검증할 수 있는 영역에 업무 규칙을 둔다

Cognigy에 따르면 기존 고객은 Flows와 Flow Agents를 계속 사용하거나 새 AI Agents와 함께 쓰거나, 새 에이전트 중심 구조를 채택할 수 있다. 동의 확인처럼 결과가 명확한 단계는 플로우가 맡고, 앞뒤 대화는 에이전트가 처리할 수 있다. 이번 발표에는 제어를 다시 플로우로 넘기는 방식도 포함됐다. 이미 자리 잡은 상담 경로를 유지하면서 특정 동작을 개선할 수 있는 구조다. NiCE Cognigy 제품 업데이트

고객이 환불을 요청한 뒤 에이전트의 설명 도중 상담원 연결을 요청한다고 해 보자. 대화 모델은 고객의 의도가 바뀐 것을 해석할 수 있다. 정해진 연결 플로우는 대기열을 고르고, 허용 범위에서 연락 사유와 확인된 계정 식별자를 보낸다. 테스트에서는 받는 쪽을 확인해 실제 연결 여부를 판단할 수 있다. “연결해 드리겠습니다”는 과정 중 신호이며, 실제 연결의 증거는 대기열 이벤트다.

같은 통화에서 다른 결말을 만들어 보자. 담당 대기열이 닫혀 있고, 도구는 연결할 수 없었다는 응답만 돌려준다. 실행 기록을 순서대로 보면 기대한 대기열을 선택했는지, 목적지가 요청을 거절했는지, 허용된 다른 지원 경로를 안내했는지 알 수 있다. 상황을 정확히 설명했다면 고객 안내 검증은 통과할 수 있지만 연결 설정에는 손볼 곳이 남는다. 도구가 성공을 보고했는데 대기열에 문의가 들어오지 않았다면 다른 문제를 조사해야 한다.

팀이 동일한 의미로 쓰는 상태를 정의해 두면 도움이 된다. ‘연결 요청’은 시도했다는 뜻이고, ‘연결 수락’은 목적지가 받았다는 뜻이다. ‘인계 완료’는 상담원이나 승인된 대기열이 약속한 정보를 전달받았음을 뜻해야 한다. 마지막으로 검증 가능한 상태를 기록하고, 대기열이 닫혀 있을 때 테스트가 기대하는 결과를 명시하자.

해지 시나리오에도 조건을 넣어 보자. 계정을 바꾸기 전에 고객이 적용 조건을 확인하고 명시적으로 동의하도록 만들 수 있다. 고객이 예상 금액만 문의했거나 필수 조건이 충족되지 않았다면 시뮬레이션은 실제 작업을 실행하기 전에 멈춰야 한다. 정중한 안내와 잘못된 상태 변경이 동시에 발생할 수 있으므로 대화와 조치를 따로 평가하자.

AI 에이전트가 고객의 말을 처리하고, 권한 확인과 계정 변경, 상담원 연결은 정의된 플로우에서 검증한다

유연한 대화와 영향이 큰 조치를 통제하는 업무 규칙을 함께 비교한다. Telli.sh 자체 제작.

시뮬레이션과 실제 상담으로 확인할 수 있는 것이 다르다

시뮬레이션에서는 동일한 사례를 여러 설정에 반복 실행할 수 있다. 드물지만 중요한 실패를 재현하기도 쉽다. 실제 통화에는 대기 시간, 배경 소음, 끼어들기, 도구나 인력 배치의 변화처럼 초기 데이터가 재현하지 못한 조건이 있다. 유난히 깔끔한 테스트 통화는 통제된 환경의 동작을 보여준다. 실제 이용 상황에서도 같은 동작이 유지되는지는 별도 관찰로 확인하자.

음성 상담에서는 고객이 다음 의미 있는 답변까지 얼마나 기다리는지, 고객이 말을 끊었을 때 시스템이 발화를 멈추는지 들어 보자. 계정 답변이 기술적으로 정확해도 정정을 덮어 버리면 도움이 되기 어렵다. 짧고 긴 침묵, 억양이 다른 같은 요청, 상태 문의에서 상담원 연결로 바꾸는 고객을 시험한다. Cognigy는 발화 순서 제어와 도구 사용을 포함한 실시간 음성 대화를 기능으로 제시한다. 실제 경험은 전화 연결 방식과 음향 조건에도 달려 있다. NiCE Cognigy 제품 업데이트

채팅은 세션이 끊긴 뒤의 동작을 확인하자. 고객이 주문 번호를 찾으러 갔다가 돌아올 수 있다. 맥락이 남아 있으면 올바른 정보를 이어받아야 하고, 현재 세션에서 정보를 확인할 수 없으면 다시 물어야 한다. 두 버전에 같은 정책을 적용해 비교하자. 긴 공백이 일상적인 채널이라면 특히 살펴볼 만하다.

시뮬레이션으로 개선할 결정마다 운영 지표를 하나 이상 정하자. 연결 건수가 줄었다면 에이전트가 더 많은 문제를 해결했을 수도 있고, 고객이 상담원에게 닿기 어려워졌을 수도 있다. 연결률과 함께 재문의, 시스템에 기록된 결과, 인계 성공 여부를 보자. 통화 구성의 변화가 설정 개선으로 잘못 집계되지 않도록 표본을 추출하는 방법도 확인하자.

인계를 받는 상담원에게 설명할 수 있는 테스트부터 시작한다

  1. 체험 또는 적용 대상 고객 환경에서 한 가지 고객 여정과 기준 설정을 고른다. 후보에서 바꾸는 조건을 정확히 기록한다. 영향이 큰 작업에는 합성 또는 승인된 데이터와 테스트 연동을 사용한다.
  2. 네 가지 상황에서 반복 가능한 초기 데이터를 준비한다. 이미 진행 중인 환불, 조회 불가, 해지 비용 문의, 명시적 상담원 연결을 포함한다. 어느 대화록도 보기 전에 예상 최종 상태를 적는다.
  3. 다변량 테스트를 사용할 수 있다면 두 설정에 같은 초기 데이터를 실행한다. 발화, 도구 이벤트, 최종 시스템 상태를 함께 검토한다. 실행 사이에 상태를 복원하고 말투나 타이밍에 민감한 사례를 반복한다.
  4. 잘못된 정보를 공개하거나 권한 없이 계정을 바꾸거나 요청된 연결을 누락한 경우를 표현상의 문제와 구분한다. 처음으로 기대에서 벗어난 단계를 찾아 해당 동작을 맡은 부분을 수정한 뒤 그 사례를 다시 실행한다.
  5. 대상이 되는 실제 트래픽에서 관찰 기간을 제한해 운영한다. 같은 결과를 비교하고 인계를 받는 상담원과 사례를 검토한다. 중요한 동작이 나빠지면 쉽게 기존 설정으로 돌아갈 수 있도록 한다.

이미 Cognigy를 쓰는 기업이라면 제품 발표에 나온 적용 일정을 확인하자. 운영 환경에는 기능이 순차 반영되고 고객에게 알림이 간다고 한다. 설계를 먼저 살펴보고 싶다면 체험 환경에서 시작한 뒤 실제 비교를 계획하기 전에 적용할 환경에서 접근 권한을 확인하자. NiCE Cognigy 적용 일정과 체험 안내

좋은 고객센터 에이전트는 무엇을 말했고 무엇을 했는지 이해할 수 있는 기록을 남긴다. 한 테스트에서 환불 상태, 승인 단계, 인계를 받은 대기열을 확인할 수 있다면 지원팀은 어떤 버전을 고객에게 적용할지 판단할 수 있다.

출처


고객 지원 검토에서 나온 대화록과 결정을 검색할 수 있게 정리하려면 Telli.sh 계정을 만들어 보세요.


← 블로그로 돌아가기