AI at Work9 menit baca

Mengapa orang meninggalkan alur pendaftaran? Ini yang bisa diuji dengan Amplitude Wave

Amplitude Wave mengubah analitik, rekaman sesi, dan umpan balik menjadi usulan eksperimen produk. Uji banner pembayaran DigitalOcean menunjukkan temuan agen dan apa yang tetap harus diukur oleh tim.

K
Ken Jo

Seorang pengembang baru membuat akun cloud. Ia membuka halaman untuk memulai mesin virtual, mengisi bagian yang mudah, lalu pergi. Funnel analitik menunjukkan penurunan di dekat langkah pembayaran. Rekaman sesi yang memenuhi syarat mungkin memperlihatkan bahwa ia tidak menggulir cukup jauh untuk menemukan persyaratannya. Kedua pengamatan itu belum menjawab apakah menaruh persyaratan di atas akan membuat lebih banyak orang memulai server.

Pada 12 November 2026, Amplitude menyediakan Wave sebagai layanan berbayar bagi organisasi pengguna paket Growth dan Enterprise. Perusahaan analitik dan eksperimen produk ini membuat Wave untuk menghubungkan data perilaku, rekaman sesi, umpan balik pelanggan, dan sumber lain yang dikonfigurasi. Wave menyusun temuan menjadi usulan perbaikan yang disebut Opportunities, disertai bukti pendukung dan metrik sasaran. Tim dapat meninjau usulan, mengirimkannya ke Jira, Linear, GitHub, atau alat lain, lalu menilai perubahan yang disetujui dengan feature flag atau eksperimen. Peluncuran Amplitude, 12 November · Dokumentasi produk Wave

Laporan pelanggan DigitalOcean menunjukkan penerapannya dalam alur orientasi nyata. Laporan itu juga memperlihatkan mengapa penilaian analis masih berguna setelah rekomendasi muncul. Tujuannya menjelaskan alasan uji layak dijalankan, kesimpulan yang dapat ditarik dari hasilnya, dan pertanyaan yang sebaiknya tetap terbuka dalam rancangan produk yang lebih kuat.

Penyelidikan pendaftaran dari penurunan di funnel hingga hipotesis yang dapat diuji

Gunakan rekaman sesi dan umpan balik untuk memilih hipotesis tentang titik pengguna keluar.

Funnel menunjukkan di mana masalah perlu dicari

Funnel pendaftaran adalah urutan tindakan yang dilacak. Pada layanan cloud pengembang, proses bisa mulai dari verifikasi akun, membuka halaman sumber daya pertama, menambahkan metode pembayaran yang memenuhi syarat, lalu membuat sumber daya pertama. Tim perlu menentukan siapa yang dihitung pada setiap langkah dan berapa lama untuk maju. Misalnya, seorang pengembang mendaftar hari ini dan memulai server bersama rekan tim besok. Jika funnel menghitung individu dan penagihan dilakukan per tim, keberhasilan nyata bisa tampak seperti kegagalan.

Product Area pada Wave memberi ruang untuk menentukan cakupan, sasaran, dan sekumpulan sumber. Dokumentasi saat ini menyebut Product Area dapat mencerminkan layar, perjalanan pengguna, atau hasil pelanggan. Tim juga bisa mempersempit sumber ke dasbor tertentu, peristiwa relevan untuk mencari rekaman, atau rentang waktu lampau untuk umpan balik. Layanan cloud pengembang dapat menetapkan satu Product Area untuk pembuatan sumber daya pertama dan berfokus pada tim baru yang mencapai halaman konfigurasi tanpa metode pembayaran. Sasaran ini menunjuk segmen dan keputusan yang dapat dinilai. Dokumentasi Product Areas Wave · Konfigurasi sumber Wave

Setelah penyebut ditetapkan, data agregat menunjukkan di tahap mana tim yang memenuhi syarat cenderung berhenti. Rekaman sesi bisa menunjukkan beberapa pengguna berhenti, menggulir kembali, atau tak pernah mencapai bagian halaman tertentu. Umpan balik bisa menunjukkan hambatan lain, misalnya tak bisa melanjutkan tanpa administrator penagihan. Usulan menguat jika sumber saling mendukung, dan layak dipertanyakan ketika mengarah ke penjelasan berbeda.

Sumber buktiPertanyaan yang bergunaYang diperiksa peninjau
Peristiwa funnelDi langkah mana tim baru yang memenuhi syarat berhenti, dan seberapa sering?Definisi peristiwa, data yang hilang, jendela konversi, dan unit hitung
Rekaman sesiApa yang dialami sebagian pengguna di halaman sebelum pergi?Apakah sampel sesi mewakili segmen sasaran dan apa yang dapat ditunjukkan rekaman
Umpan balik dan topik dukunganKebingungan atau kendala apa yang dijelaskan langsung oleh pelanggan?Tanggal, kelompok, dan apakah keluhan berulang mewakili kelompok lebih luas
Eksperimen terkontrolApakah perubahan memengaruhi hasil yang ditentukan sebelumnya?Pembagian grup, paparan, penyebut, ketidakpastian, dan dampak pada metrik penting lain

Amplitude mendokumentasikan cara Wave mengelompokkan temuan dan mencari bukti penguat sebelum memprioritaskan Opportunities. Lihat bukti yang ditautkan sebelum menerima skornya. Jika semua pengamatan berasal dari lima sesi yang sama, cakupannya lebih sempit daripada bukti yang selaras lintas segmen dan dari sekumpulan permintaan bantuan terpisah. Skor membantu memilih yang diperiksa lebih dulu. Peninjau tetap memilih bukti yang relevan dan bukti seperti apa yang melemahkan hipotesis. Dokumentasi penemuan Wave

Banner pembayaran DigitalOcean adalah satu eksperimen dengan hasil tertentu

Dalam tulisan di blog Amplitude pada 9 November, manajer produk DigitalOcean Haley Eidem mengatakan bahwa penambahan metode pembayaran menjadi titik kehilangan pengguna terbesar dalam analisis orientasi mereka saat itu. Wave mengusulkan agar persyaratan pembayaran lebih terlihat di halaman pembuatan Droplet. Droplet adalah mesin virtual DigitalOcean. Tim menguji pemindahan pesan yang sudah ada ke banner di bagian atas agar terlihat lebih cepat. Kekurangan yang dipertimbangkan adalah menambah kepadatan informasi pada halaman yang sudah meminta pengguna baru memilih banyak konfigurasi. Kisah DigitalOcean di blog Amplitude, 9 November

Eidem melaporkan bahwa tim yang melihat banner 3,3% lebih mungkin menambahkan metode pembayaran daripada kelompok kontrol. Menurutnya, hasil ini memenuhi ambang keyakinan 80% yang dipilih untuk uji, dan perusahaan memutuskan meluncurkan banner. Angka itu mengukur penambahan metode pembayaran. Laporan yang sama tidak memberi tingkat pembuatan Droplet pertama dari eksperimen tersebut. Jika produk Anda membutuhkan hasil lanjutan, definisikan dan ukur sampai tahap itu selesai. Laporan pelanggan DigitalOcean

Laporan yang sama memberi contoh kedua. Untuk Harness Runtime, DigitalOcean mencoba menambah informasi harga pada halaman awal dengan hipotesis bahwa ketiadaan informasi mencegah pelanggan membuat lingkungan. Eidem melaporkan bahwa pembuatan lingkungan sedikit turun setelah tambahan itu, menyatakan bahwa tim tidak dapat menyimpulkan penyebabnya, dan menjelaskan bahwa perubahan tidak diluncurkan. Tim mendapat pertanyaan lanjutan yang lebih sempit, yaitu apakah memperjelas jalur yang disarankan akan membantu. Untuk tim yang mempertimbangkan Wave, keputusan ini sama informatifnya dengan peluncuran banner. Usulan bisa layak diuji walaupun hasil akhirnya tidak dipakai. Laporan pelanggan DigitalOcean

Eidem juga melaporkan munculnya 55 peluang selama enam minggu di lima Product Area beta. Angka itu menunjukkan volume usulan yang ditinjau satu pelanggan pada beberapa produk. Untuk keputusan adopsi sendiri, hitung usulan yang punya bukti yang dapat diperiksa pemilik produk, yang menduplikasi pekerjaan yang ada, dan yang menghasilkan keputusan berguna setelah uji coba. Tetapkan waktu tinjauan mingguan dan catat waktu pemeriksaan tim. Jika tinjauan menghabiskan waktu yang sebelumnya dihemat dari berkurangnya penulisan brief, mulai dari Product Area yang lebih sempit. Laporan pelanggan DigitalOcean

Rekaman sesi membantu menyusun hipotesis jika pengumpulan dibatasi

Dalam contoh pendaftaran, lihat sesi yang memenuhi syarat di sekitar transisi yang ingin dipahami. Rekaman dengan banner di bawah bagian layar yang terlihat dapat mendukung teori visibilitas. Sesi lain dapat memperlihatkan galat sebelum pembayaran dan mengarah ke perbaikan berbeda. Sesi ketiga mungkin dimulai sesudah tindakan yang ingin dijelaskan. Lihat sesi yang selesai dan yang terhenti. Pola yang sama lazim di kedua kelompok kurang kuat sebagai alasan mendesain ulang halaman.

Rekaman juga mengubah jenis data yang ditangani tim. Panduan peramban Amplitude menyebut penyamaran mencakup teks halaman dan isian formulir menurut konfigurasi, sementara nilai atribut HTML berada di luar mekanisme itu. Ini penting bila aplikasi menyimpan data pengguna di teks placeholder, label aksesibilitas, atau atribut khusus. Gunakan akun uji dan urutan tindakan yang diketahui untuk tinjauan pertama. Sebelum memakai rekaman produksi di Product Area, pastikan rekaman tersambung ke sesi analitik yang dimaksud dan hanya menampilkan isi yang disetujui. Kontrol privasi rekaman Amplitude · Panduan verifikasi rekaman Amplitude

Menetapkan batas sejak awal dapat menghemat waktu pemeriksaan. Tentukan siapa yang boleh membuka bukti dan informasi apa yang sebaiknya masuk ke tiket teknik. Tim dapat menautkan grafik dengan kontrol akses dari pelacaknya dan menjelaskan langkah pengulangan dengan akun uji. Pelaksana bisa memeriksa masalah tanpa mengalihkan rekaman pelanggan, detail masuk, atau informasi penagihan ke sistem lain. Tinjau cakupan repositori terhubung pada seluruh ruang kerja secara terpisah dari filter sumber untuk satu Product Area. Product Areas Wave dan cakupan koneksi

Perbandingan terkontrol untuk eksperimen orientasi pengguna

Tentukan ukuran perbaikan dan pantau hal yang bisa memburuk.

Tetapkan aturan keputusan untuk eksperimen pertama yang disetujui

  1. Pilih satu langkah dan penyebut yang stabil. Pada funnel sumber daya pertama, pilih tim baru yang mencapai halaman penyiapan tanpa metode pembayaran yang memenuhi syarat. Tetapkan jendela pengamatan dan dokumentasikan cara menangani akun ganda serta undangan tim. Minta pemilik produk dan pemilik analitik menyetujui definisinya.
  2. Tinjau satu Opportunity terhadap sumbernya. Buka grafik, sejumlah kecil rekaman yang telah disetujui jika tersedia, dan umpan balik terkait. Catat bukti pendukung serta keberatan. Jika masalah berasal dari izin, pastikan pengaruhnya pada kelompok sasaran sebelum mengusulkan banner yang lebih jelas.
  3. Ubah satu unsur yang bisa Anda jelaskan. Dalam contoh uji, pertahankan halaman asli bagi kelompok kontrol dan pindahkan panduan pembayaran yang sama ke banner yang terlihat bagi kelompok perlakuan. Masukkan perubahan persis, hasil yang diharapkan, dan kriteria penerimaan di tiket yang disetujui. Serahkan peninjauan, penggabungan, dan peluncuran kepada pemilik produk.
  4. Tentukan metrik utama, hasil lanjutan, dan metrik pengaman. Jika pertanyaannya mudah atau tidaknya menemukan petunjuk, jadikan porsi tim yang memenuhi syarat dan menambah metode pembayaran dalam jendela yang dipilih sebagai metrik utama. Lacak pembuatan sumber daya pertama secara terpisah dan awasi tingkat galat atau permintaan bantuan untuk mengetahui apakah banner memindahkan masalah. Tetapkan alokasi, ambang keputusan, dan aturan penghentian sebelum peluncuran. Pastikan paparan dan analisis memakai unit sama. Dokumentasi eksperimen Amplitude menjelaskan bahwa ketidaksesuaian rasio sampel yang material bisa membuat perbandingan tidak andal. Panduan ketidaksesuaian rasio sampel
  5. Simpan keputusan bersama bukti. Catat ukuran dan tingkat konversi kedua kelompok, ketidakpastian, serta perubahan metrik pengaman. Andaikan uji ilustratif mendapat lebih banyak penambahan metode pembayaran, tetapi hasil pembuatan sumber daya pertama belum jelas. Hasil itu mendukung laporan perubahan pada langkah yang diukur sambil membiarkan hasil lanjutan terbuka. Putuskan apakah itu cukup untuk peluncuran yang dapat dibatalkan atau lebih baik mengumpulkan bukti lagi.

Ada alasan praktis menjalankan satu putaran sebelum memperluas pemakaian berbayar. Jika organisasi sudah memiliki funnel yang andal, rekaman yang bisa ditinjau, dan proses eksperimen yang berjalan, nilai Wave mungkin terletak pada waktu dari pertanyaan ke brief yang tertaut ke bukti. Jika arti peristiwa berubah di tengah funnel atau produk belum mempunyai metrik hasil, pekerjaan paling berguna mungkin memperbaiki pengukuran. Bawa satu sasaran bisnis nyata ke produk yang tersedia lalu bandingkan usulan Wave dengan brief yang biasanya dibuat tim. Ketersediaan dan panduan memulai Wave

Rekomendasi paling berharga membantu tim mengambil keputusan

Tim produk jarang memerlukan daftar tambahan berisi perubahan yang masuk akal. Mereka perlu catatan tentang dugaan awal, perubahan yang bisa dilakukan dengan aman, dan cara memutuskan apa yang dipertahankan. Wave membantu menyusunnya ketika bukti masih segar. Uji praktisnya adalah apakah rekan bisa membuka Opportunity belakangan dan menjelaskan alasan tim meluncurkan banner, membiarkan halaman lama, atau memeriksa pengukuran lagi.

Sumber


Untuk menyimpan catatan eksperimen, tema umpan balik, dan keputusan produk agar dapat dicari, buat akun Telli.sh.


← Kembali ke blog