가입 중에 사용자는 왜 나갔을까? Amplitude Wave로 검증할 수 있는 것
Amplitude Wave는 제품 분석과 세션 리플레이, 고객 피드백을 실험 제안으로 연결합니다. DigitalOcean 결제 안내 배너 사례로 에이전트의 제안과 팀이 직접 측정해야 한 내용을 살펴봅니다.
한 개발자가 클라우드 계정을 막 만들었습니다. 가상 머신을 생성하는 페이지를 열고 간단한 항목을 채우다가 나갑니다. 퍼널 분석에서는 결제 단계 부근에서 이탈이 나타납니다. 분석 대상인 세션의 리플레이에는 개발자가 필수 요건이 보이는 곳까지 스크롤하지 않은 장면이 담겨 있을 수도 있습니다. 두 관찰을 통해 이탈 지점과 당시 화면을 알 수 있지만, 안내를 화면 위로 옮겼을 때 서버를 만드는 사람이 늘어날지는 실험으로 확인해야 합니다.
2026년 11월 12일, Amplitude는 Growth와 Enterprise 요금제를 이용하는 조직에 Wave를 유료로 제공하기 시작했습니다. 제품 분석과 실험 도구를 만드는 Amplitude는 Wave에 사용자 행동 데이터, 세션 리플레이, 고객 피드백, 그 밖에 설정한 데이터 소스를 연결하도록 했습니다. Wave는 발견 사항에 근거와 목표 지표를 붙여 Opportunities라는 개선 제안으로 정리합니다. 팀은 제안을 검토해 Jira, Linear 또는 GitHub 같은 도구로 보내고, 승인한 변경을 기능 플래그나 실험으로 평가할 수 있습니다. Amplitude의 11월 12일 출시 발표 · Wave 제품 문서
DigitalOcean이 공개한 고객 사례는 실제 온보딩 과정에서 이 기능을 어떻게 쓰는지 보여줍니다. 제안을 받은 뒤에도 분석가의 판단이 필요한 이유를 확인할 수 있습니다. 어떤 실험을 해볼 만한지, 결과에서 어디까지 결론을 내릴 수 있는지, 제품 기획서에 어떤 질문을 열어둘지 살펴봅니다.
리플레이와 피드백을 바탕으로 이탈 원인에 관한 가설을 고릅니다.
퍼널은 문제가 있는 곳을 가리킵니다
가입 퍼널은 추적하는 행동을 순서대로 정의한 것입니다. 개발자용 클라우드라면 계정 인증에서 시작해 첫 리소스 생성 화면을 열고, 사용할 수 있는 결제 수단을 등록한 뒤, 첫 리소스를 생성하면서 끝날 수 있습니다. 팀은 단계마다 누구를 집계할지, 다음 단계까지 얼마나 기다릴지 결정해야 합니다. 한 개발자가 오늘 가입하고 내일 동료와 함께 서버를 시작할 수 있습니다. 결제는 팀 단위로 이루어지는데 퍼널은 개인을 세면, 실제 성공이 이탈로 보일 수 있습니다.
Wave의 Product Area에서는 조사 범위와 목표, 참조할 소스를 지정합니다. 현재 공식 문서에 따르면 한 화면이나 사용자 여정, 고객이 달성할 결과를 기준으로 Product Area를 만들 수 있습니다. 팀이 지정한 대시보드만 연결하거나 리플레이 검색에 사용할 이벤트를 고르고, 피드백을 얼마나 과거까지 살필지 정할 수도 있습니다. 개발자용 클라우드라면 첫 리소스 생성을 Product Area로 잡고 결제 수단 없이 설정 화면에 도달한 신규 팀에 집중할 수 있습니다. 이렇게 목표를 정하면 검토 대상 집단과 팀이 판단할 사안이 구체화됩니다. Wave의 Product Area 문서 · Wave 데이터 소스 설정
집계 분모를 적절히 정하면 전체 데이터에서 대상 팀이 주로 어느 단계에서 멈추는지 알 수 있습니다. 리플레이에서는 일부 사용자가 멈칫하거나 위쪽으로 다시 스크롤하거나 화면의 특정 부분까지 내려가지 않는 행동을 볼 수 있습니다. 피드백이 결제 관리자 권한이 없어 진행하지 못했다는 식의 다른 장애물을 드러낼 수도 있습니다. 여러 근거가 일치하면 제안이 설득력을 얻고, 서로 다른 방향을 가리키면 어떤 가정을 의심해야 할지 뚜렷해집니다.
| 근거 | 확인할 질문 | 검토 항목 |
|---|---|---|
| 퍼널 이벤트 | 대상 신규 팀은 몇 번째 단계에서 얼마나 자주 멈추는가? | 이벤트 정의, 누락된 이벤트, 전환 집계 기간, 집계 단위 |
| 세션 리플레이 | 이탈 직전 일부 사용자는 화면에서 무엇을 보았는가? | 추출한 세션이 목표 집단을 반영하는지, 리플레이가 실제로 보여주는 범위 |
| 피드백과 고객 문의의 공통 주제 | 고객은 무엇이 헷갈렸거나 어떤 제약이 있었는지 어떻게 설명하는가? | 시점과 코호트, 자주 들어온 불만이 더 넓은 집단에도 해당하는지 |
| 통제 실험 | 제안한 변경이 사전에 정한 결과에 영향을 주었는가? | 집단 배정, 노출, 집계 분모, 불확실성, 다른 주요 지표에 미친 영향 |
Amplitude 문서에는 Wave가 관찰 결과를 묶고 다른 근거로 뒷받침할 수 있는지 확인한 뒤 우선순위를 매긴 제안을 만드는 과정이 설명돼 있습니다. 제안의 점수를 받아들이기 전에 연결된 근거부터 보세요. 여러 관찰이 모두 같은 세션 다섯 건에서 나왔다면, 여러 집단의 세션과 별도로 접수된 고객 문의가 서로 일치할 때보다 근거의 범위가 좁습니다. 점수는 무엇부터 검토할지 정하는 데 쓰입니다. 어떤 근거가 관련이 있고 어떤 발견이 가설에 반대되는지는 검토자가 판단합니다. Wave의 제안 도출 문서
DigitalOcean 결제 배너가 개선한 것은 결제 수단 등록이었습니다
11월 9일 Amplitude 블로그에 실린 사례에서 DigitalOcean의 제품 관리자 Haley Eidem은 기존 온보딩 분석에서 결제 수단 등록이 가장 큰 이탈 지점이었다고 설명했습니다. Wave는 Droplet 생성 페이지에서 결제 수단이 필요하다는 점을 더 잘 보이게 하자고 제안했습니다. Droplet은 DigitalOcean의 가상 머신입니다. 팀은 사용자가 더 빨리 볼 수 있도록 기존 안내를 페이지 상단 배너에 넣는 실험을 했습니다. 신규 사용자가 여러 구성 항목을 골라야 하는 화면이 더 복잡해질 수 있다는 점도 검토했습니다. 11월 9일 Amplitude 블로그에 공개된 DigitalOcean 고객 사례
Eidem은 배너를 본 팀이 대조군보다 결제 수단을 등록할 가능성이 3.3% 높았다고 밝혔습니다. 실험에서 정해 둔 80% 신뢰 기준을 충족해 배너를 확대 적용했다고 합니다. 공개된 수치는 결제 수단 등록에 관한 것입니다. 이 사례에서 첫 Droplet 생성률은 제시되지 않았습니다. 첫 리소스 생성까지 중요한 제품이라면 후속 결과도 별도로 정의해 끝까지 측정하세요. DigitalOcean 고객 사례
같은 사례에 두 번째 실험도 나옵니다. DigitalOcean은 가격 정보가 없어 고객이 환경 생성을 주저한다는 가설을 세우고 Harness Runtime 랜딩 페이지에 가격을 추가했습니다. Eidem은 가격을 추가했을 때 환경 생성이 소폭 줄었지만 추가 정보가 그 감소를 일으켰다고 결론 내릴 수는 없었다고 설명했습니다. 변경은 확대 적용하지 않았습니다. 대신 고객에게 권장 경로를 더 명확히 보여주면 도움이 될지로 다음 질문을 좁혔습니다. Wave 도입을 검토하는 팀이라면 이 결정도 배너 확대만큼 참고할 만합니다. 실험 결과 변경을 보류하더라도 가설을 시험한 가치는 남습니다. DigitalOcean 고객 사례
Eidem은 6주 동안 베타 Product Area 5개에서 제안 55건이 나왔다고도 밝혔습니다. 여러 제품에 걸쳐 한 고객이 검토한 제안의 양입니다. 자체 도입을 판단할 때는 제품 담당자가 확인할 수 있는 근거를 담은 제안 수, 기존 업무와 겹친 제안 수, 시범 운영 뒤에도 의미 있는 결정으로 이어진 제안 수를 세어보세요. 매주 검토 시간을 정해 두고 실제로 얼마나 걸렸는지도 적으세요. 제안 검토 시간이 기획서 초안을 쓰는 데 아낀 시간을 상쇄한다면, Product Area의 범위를 좁혀 시작할 수 있습니다. DigitalOcean 고객 사례
수집 범위를 정한 세션 리플레이로 가설을 구체화합니다
가입 예시에서는 팀이 이해하려는 전환 구간의 대상 세션을 살펴보세요. 배너가 스크롤 전에는 보이지 않는 장면은 가시성에 관한 가설을 뒷받침합니다. 결제 전에 오류가 뜨는 녹화는 다른 수정안을 시사할 수 있습니다. 조사 중인 행동이 끝난 뒤에야 리플레이가 시작됐을 수도 있습니다. 이탈한 사람의 세션과 완료한 사람의 세션을 모두 보세요. 두 집단에 같은 정도로 나타나는 패턴은 화면을 바꿀 근거로 약합니다.
리플레이를 이용하면 팀이 다루는 데이터도 달라집니다. Amplitude의 브라우저 가이드에 따르면 페이지 텍스트와 폼 입력은 선택한 설정에 따라 가려지지만 HTML 속성값에는 이 마스킹이 적용되지 않습니다. 앱이 입력 예시 문구나 접근성 레이블, 사용자 정의 속성에 사용자 데이터를 담는다면 중요합니다. 첫 검토는 테스트 계정과 알려진 행동 순서로 진행하세요. 운영 리플레이를 Product Area에서 사용하기 전에 해당 리플레이가 의도한 분석 세션으로 연결되는지, 허용된 내용만 나오는지 확인합니다. Amplitude 리플레이 개인정보 보호 설정 · Amplitude 리플레이 캡처 검증 가이드
초기에 경계를 정해두면 검토를 더 빠르게 진행할 수 있습니다. 근거를 열어볼 사람과 개발 티켓에 적을 정보를 정하세요. 팀이 사용하는 이슈 관리 도구에는 접근 권한이 설정된 차트 링크를 첨부하고, 테스트 계정으로 재현할 수 있는 문제를 설명할 수 있습니다. 구현 담당자는 고객 녹화, 로그인 정보, 청구 정보를 다른 시스템에 옮기지 않고 문제를 확인할 수 있습니다. 연결한 저장소의 워크스페이스 전체 접근 범위와 각 Product Area에 지정한 소스 필터는 각각 확인하세요. Wave Product Area와 연결 범위
무엇을 개선으로 볼지 미리 정하고 나빠질 수 있는 지표도 추적합니다.
처음 승인한 실험에는 명확한 결정 기준을 둡니다
- 한 단계와 안정적인 분모를 고릅니다. 첫 리소스 생성 퍼널이라면 유효한 결제 수단 없이 리소스 설정 화면에 도달한 신규 팀을 고릅니다. 관측 기간을 정하고 중복 계정이나 팀 초대를 어떻게 처리할지 문서에 남깁니다. 제품 담당자와 분석 담당자가 정의에 합의합니다.
- 제안 하나를 원래 근거와 대조합니다. 링크된 차트와 관련 피드백을 보고, 가능한 경우 승인된 리플레이 몇 건도 열어봅니다. 제안을 뒷받침하는 근거와 반대 근거를 모두 기록합니다. 실제 문제가 권한이라면 더 눈에 띄는 배너를 제안하기 전에 목표 집단에 이 문제가 있는지 확인합니다.
- 설명할 수 있는 요소 하나를 바꿉니다. 예시 실험이라면 대조군은 기존 페이지를 보고 실험군은 같은 결제 안내가 눈에 띄는 배너로 옮겨진 화면을 보게 합니다. 정확한 변경 사항과 예상 결과, 수용 기준을 승인된 티켓에 적습니다. 검토와 병합, 확대 적용은 제품 담당자가 맡습니다.
- 주 지표와 후속 결과, 부작용 지표를 정합니다. 안내를 알아차리기 쉬워졌는지 보려면 사전에 정한 기간에 결제 수단을 등록한 대상 팀의 비율을 주 지표로 삼습니다. 첫 리소스 생성은 별도 결과로 측정하고, 배너가 다른 곳에 불편을 만들었는지 보려면 오류율이나 고객 문의를 추적합니다. 실험을 시작하기 전에 배정 비율, 결정 기준과 종료 규칙을 정합니다. 노출 집계와 분석 집계의 단위가 같은지도 확인합니다. Amplitude 실험 문서에는 표본 배정 비율이 계획과 크게 어긋나면 비교를 믿기 어려운 이유가 나옵니다. 표본 비율 불일치 가이드
- 결정과 근거를 함께 보관합니다. 각 집단의 규모와 전환율, 불확실성, 부작용 지표의 변화를 기록합니다. 예시 실험에서 결제 수단 등록은 늘었지만 첫 리소스 생성에 관한 결론을 내리기 어려웠다고 가정해 보세요. 측정한 단계의 변화는 보고하고 후속 단계는 열린 질문으로 남길 수 있습니다. 그 정도 근거로 되돌릴 수 있는 확대 적용을 할지, 데이터를 더 모을지 결정합니다.
유료 도입을 확대하기 전에 이 과정을 한 번 돌려볼 실질적인 이유가 있습니다. 이미 신뢰할 만한 퍼널, 검토 가능한 리플레이 설정, 작동하는 실험 절차가 있는 조직이라면 Wave의 가치는 질문이 나온 시점부터 근거가 연결된 기획서를 쓰기까지의 시간을 줄이는 데 있을 수 있습니다. 퍼널 중간에 이벤트 의미가 달라지거나 핵심 결과 지표가 없다면 측정 방식을 먼저 고치는 편이 도움이 될 수 있습니다. 실제 사업 목표 하나로 제품을 써보고, Wave의 제안과 팀이 평소 만들었을 기획서를 비교해 보세요. Wave 제공 범위와 시작 안내
좋은 제안은 팀이 결정을 설명할 수 있게 합니다
제품 팀에 필요한 것은 그럴듯한 변경 목록보다 무엇이 일어난다고 보았고, 무엇을 안전하게 바꿀 수 있었으며, 어떤 근거로 변경을 유지하기로 했는지에 관한 기록입니다. Wave는 근거가 생생할 때 이 기록을 모으는 데 도움을 줄 수 있습니다. 팀원이 나중에 제안을 열어 배너를 배포했거나, 화면을 그대로 두었거나, 측정 방식을 다시 확인한 이유를 설명할 수 있는지가 실질적인 시험입니다.
출처
- Amplitude Wave 제공 발표, 2026년 11월 12일
- Amplitude가 공개한 Haley Eidem의 DigitalOcean 고객 사례, 2026년 11월 9일
- Amplitude Wave 제품 문서
- Wave Product Area와 설정
- Amplitude Wave의 참조 정보와 데이터 소스 설정
- Amplitude Session Replay 개인정보 보호 설정
- Amplitude Session Replay 캡처 검증 가이드
- Amplitude Experiment의 표본 비율 불일치 가이드
실험 노트와 고객 피드백의 공통 주제, 제품 의사결정을 검색할 수 있게 보관하려면 Telli.sh 계정을 만들어 보세요.