新しいAIは同じ返金をうまく処理できるか? 本番に出す前に比べてみる
NiCE Cognigyの多変量テストで、導入前にコンタクトセンターのAIを比較する。返金、解約、人への引き継ぎで、滑らかなデモでは見落とす違いを探る。
返品が八日前に倉庫へ届いたのに、返金がまだ反映されない。顧客が問い合わせると、一つ目のAIは明日入金されると約束する。二つ目は注文を調べ、返金処理は始まったものの決済が確定していないと説明し、金額に異議が出ると担当者へつなぐ。どちらも有能に聞こえる。実際に何が起きたかは、注文システムと引き継ぎ記録を見て分かる。
コンタクトセンター向けソフトウェアを提供するNiCE Cognigyは、2026年11月12日、エージェント基盤の新版を発表した。Multivariate Testingでは、エージェントの版、言語モデル、エージェント自体、シナリオを変えたシミュレーションを並べて実行できる。発表では、スキル、ツール呼び出し、モデル利用を確認できるトレースも紹介された。新環境は11月12日に試用アカウントで利用可能となり、既存顧客には11月から段階的に展開するとされた。NiCE Cognigyの製品更新
初回は、同じエージェントの二つの版に同じ問い合わせを任せるとよい。返金、解約、担当者と話したいという依頼を使えば、顧客に提供する前に確認すべき結果が見える。顧客が受ける対応を先に決め、それを裏づけるシステムの状態を調べる。
会話の終わりを、検証できる結果として定義する
返金の例には、正しい答えが複数ある。返金処理中なら、状態と確認先を伝えられる。返品を受け取っていて返金が始まっていなければ、既存ルールに従うか、権限のあるチームへ引き継ぐ必要があるかもしれない。本人のアカウントだと確認できなければ、注文の状態を開示しない。「返金の問い合わせ」という一つのシナリオでは、この三つの判断が隠れる。
テストごとに、開始時の記録と許容される最終状態を定める。一例では、テストデータ上で返金は処理中で、受付番号がすでにある。合格するエージェントは状態を読み取り、二重に返金を作成しない。別の例では、注文照会がエラーを返す。合格するエージェントは確認できなかったと伝え、利用できるサポート経路に案内する。期待結果は実際の業務ルールとシステム状態から決める。
顧客の言い方も大切だ。「もう終わりにしたい」は、返金状況を聞いている、何かを解約したい、待ち時間に不満がある、のいずれかかもしれない。一つの会話例の言い回しだけで高く評価しないよう、同じケースを違う言葉で試す。はっきり転送を頼む場合と、「誰か一緒に確認してもらえますか」とやわらかく頼む場合を含める。
顧客のケースを同じにして、会話とシステムの結果を一緒に比べる。Telli.sh作成。
実際のコンタクトセンターでは、質問と操作への同意を区別する必要もある。解約にいくらかかるか聞いてから、契約を続ける顧客もいる。根拠のある金額を案内し、アカウントを有効なままにできるかを試す。ツールの呼び出しが変更を加え、後で人が元に戻すことになる場合には特に重要だ。
| ケース | 期待する結果 | 確認者が見る根拠 |
|---|---|---|
| 返金がすでに処理中 | 二重に処理せず、現在の状態を説明 | 注文状態、ツール呼び出し記録、会話記録 |
| 顧客が解約手数料を質問 | 手数料を提示し、確認できなければ転送 | 根拠となるルールと、アカウントに変更がないこと |
| 顧客が明示的に人への対応を依頼 | 適切な窓口へ振り分け、許可された情報を送る | 振り分けのイベントと受け手への引き継ぎ内容 |
| 注文を照会できない | 照会の状態を正しく伝え、次の手段を案内 | ツールエラー、顧客への文面、再試行や転送の記録 |
一度に一つ変えると、並行比較を解釈しやすい
Cognigyの更新情報は、Snapshots、モデル、エージェント、シナリオを比較できると説明する。最初は一つだけ変える。モデルと指示を同時に変えると、答えがよくなっても何が効いたか分かりにくい。引き継ぎ手順とモデルを同時に変えれば、振り分けの悪化をどちらに帰せばよいか分からない。一つだけ変えれば、結果を次の改善に使いやすい。NiCE Cognigyの製品更新
初回は、会話のルールとツールを固定して、現行と候補のモデルを比べる。有望な版が見えたら、そのモデルで二つのプロンプトやフロー構成を比較する。注文記録、時刻の前提、テストデータはそろえる。前の試行で完了した案件が次に影響しないよう、毎回状態を初期化する。
同じ入力でもテスト結果は変わり得る。許容経路が複数あれば、二回目にモデルが別の選択をすることもある。支払い、同意、引き継ぎのケースは、明らかな不安定さが出る程度に繰り返す。件数は分母と一緒に記録する。三回中一回の引き継ぎ失敗と百回中一回では解釈が違い、いずれも本番の失敗率を確定しない。
トレースがあれば、性能悪化に対処しやすい。「返金状況を確認しました」と言ったのに注文照会がないなら、発言に根拠がない。照会は正しく行われ、「処理中」を返したのに「入金済み」と要約したなら、読み取りや解釈の問題だ。顧客には似た誤案内でも、修正する箇所が違う。NiCE Cognigyは、トレースの内容としてスキル実行、ツール呼び出し、モデル呼び出し、トークン使用量を挙げる。NiCE Cognigyの製品更新
業務ルールを、検証できる部分に置く
Cognigyによると、既存顧客はFlowsとFlow Agentsを使い続け、新しいAI Agentsと組み合わせることも、エージェント中心の新しい構成に移ることもできる。同意の確認など確定的な手順はフローが担当し、その前後の会話はエージェントに任せられる。更新情報では、制御をフローへ戻す方法も説明している。既存の経路を使いながら、一つの挙動を改善できる設計だ。NiCE Cognigyの製品更新
顧客が返金を頼み、エージェントが話している途中で担当者を求めたとする。会話モデルは依頼の変化を理解できる。決まった引き継ぎフローは適切な窓口を選び、許可されていれば問い合わせ理由と確認済みアカウントIDを渡す。テストでは受け手を確認し、転送が実際に行われたかを確かめられる。「転送します」は途中の案内で、窓口側のイベントが転送の根拠になる。
同じ通話に別の結末を用意する。適切な窓口は閉まっていて、ツールは転送不可とだけ返す。トレースを順に確認する。想定した窓口を選んだか、宛先が拒否したか、許可された別経路を案内したかが分かるはずだ。正しく事情を説明できれば会話の確認には合格しても、振り分け設定は改善が必要かもしれない。ツールが成功を返したのに窓口にチケットが届かなければ、別の問題として調べる。
そこで、チームが意味に合意した状態を使うとよい。「転送要求済み」は試みたこと、「転送受理」は宛先が受け取ったことを示す。「引き継ぎ完了」は、担当者か承認済みの窓口が約束された情報を受け取った状態を指す。最後に確認できた状態を記録し、窓口が閉じているときの期待結果も書く。
条件を絞った解約テストも組み合わせる。アカウントを変える前に、適用条件を顧客に示し、明確な確認を得るようフローで求められる。料金を聞いただけなら操作前に止まる必要がある。前提条件に失敗したときも止まる。丁寧な説明と誤った状態変更が同時に起きることがあるため、会話と操作を独立に評価できる。
柔軟な会話と、影響の大きい操作を管理する業務上の確認を一緒に見る。Telli.sh作成。
シミュレーションと実際の問い合わせでは、分かることが違う
シミュレーションなら、同じケースを別の構成で繰り返せる。頻度は低くても重大な失敗を再現しやすい。本番では、実際の待ち時間、雑音、割り込み、ツールや人員の変化がある。テストデータには現れないこともある。整ったテスト通話で分かるのは、管理した条件での動作だ。通常の利用で同じ挙動が出るか、本番観察を計画する。
音声では、次に意味のある応答まで何秒待つか、割り込まれたときに発話を止めるかを聞く。アカウントについて正しい答えを返しても、訂正をさえぎれば役に立たないと感じられる。短い沈黙と長い沈黙、発音の異なる同じ依頼、状況の質問から人への転送に変わる通話を試す。Cognigyは、発話交代とツール利用に対応するリアルタイムの音声対音声機能を挙げている。実際の体験は電話の振り分けと音響条件にも左右される。NiCE Cognigyの製品更新
チャットでは、会話が中断した後の応答を見る。顧客は注文番号を探してから戻るかもしれない。情報が残っていれば適切に使い、セッションから確認できなくなっていれば尋ね直す。両方の版に同じルールを適用して比べる。間が長く空くことが普通のチャネルでは、特に重要だ。
シミュレーションで改善したい判断ごとに、本番で測る指標を一つ以上選ぶ。転送が減るのは、AIが解決した件数が増えたからかもしれない。顧客が人につながりにくくなった可能性もある。転送率に加え、再問い合わせ、システム上の結果、引き継ぎの成功を比べる。通話の種類の変化を構成更新の成果と誤認しないよう、抽出方法も確認する。
引き継ぎを受ける担当者に説明できるテストから始める
- 試用環境か利用可能な顧客環境で、顧客の一連の手続きと既存構成を基準に選ぶ。候補で変える箇所を記録する。影響のある操作には架空または利用を許可されたデータとテスト連携を使う。
- 四つのケースの開始記録を繰り返せるように用意する。処理中の返金、照会不能、解約の質問、担当者への直接の依頼を含める。会話を見る前に、期待する最終状態を書く。
- 利用できる場合はMultivariate Testingで同じテストデータを両構成に適用する。発話、ツールイベント、最終状態を一緒に見る。試行の間に状態を戻し、言い方や時刻に影響されやすいケースを繰り返す。
- 誤った情報の開示、無許可のアカウント変更、求められた引き継ぎの消失は、言い回しの問題と分ける。最初の予期しない動作を特定し、担当する部分を直して、そのシナリオを再試行する。
- 条件を満たす実トラフィックで、範囲を限った観察期間を設ける。同じ結果を比べ、転送先の担当者と事例を確認する。重要な挙動が悪化したら基準構成に戻せるようにする。
すでにCognigyを使う企業には、本番環境へ段階的に提供し、顧客に通知すると案内されている。設計を見たいなら試用環境から始め、実通話での比較を計画する前に、使う環境でのアクセスを確認する。NiCE Cognigyの提供と試用の詳細
優れたコンタクトセンターのエージェントは、何を言い、何をしたか分かる記録を残す。同じテストで返金状態、承認の段階、受け入れ先の窓口を示せれば、どの版を顧客に提供するかサポートチームが判断できる。
出典
サポート対応の振り返りで使う会話記録と判断を検索できる形にするには、Telli.shアカウントを作成。