Digital Marketing
A/B Test (A/B Testing)
A/B test adalah metode eksperimen yang membandingkan dua versi (kontrol vs varian) pada audiens acak untuk mengukur dampak kausal sebuah perubahan terhadap metrik bisnis.
TL;DR: A/B test atau A/B testing adalah eksperimen yang membagi audiens secara acak menjadi grup kontrol dan grup varian, lalu mengukur perbedaan metrik di antara keduanya. Tujuannya menilai dampak kausal sebuah perubahan, bukan sekadar korelasi. Hasilnya valid hanya jika sample cukup besar, durasi cukup panjang, dan satu variabel diuji per eksperimen.
Apa itu A/B Test?
A/B test adalah pengujian terkontrol yang menjawab pertanyaan: "Apakah perubahan X menyebabkan kenaikan metrik Y?". Pengguna dialokasikan secara random ke kontrol (versi lama) atau varian (versi baru). Setelah ambang waktu atau sample tertentu tercapai, hasil dibandingkan dengan uji statistik.
A/B test berbeda dengan holdout-test yang menahan sebagian audiens dari kampanye, dan dari conversion-rate yang hanya mengukur rasio tanpa pembanding kausal.
Cara Kerja
| Langkah | Aksi |
|---|---|
| 1. Hipotesis | Tentukan perubahan dan metrik utama |
| 2. Sample size | Hitung minimal sample pakai kalkulator power 80% |
| 3. Random allocation | Bagi pengguna 50/50 atau sesuai rasio |
| 4. Run | Jalankan minimal 1-2 siklus mingguan untuk hindari weekday bias |
| 5. Analisis | Uji p-value atau interval kepercayaan |
| 6. Decision | Lanjut, hentikan, atau iterasi |
Kenapa Penting?
Tanpa A/B test, brand sering mengambil keputusan berdasarkan opini atau hasil sebelum-sesudah yang bias. Untuk pasar Indonesia dengan pola trafik mingguan yang kuat (gaji, akhir pekan, hari libur), A/B test mencegah marketer salah baca lonjakan musiman sebagai dampak kampanye.
Pertanyaan Umum
Berapa lama A/B test idealnya berjalan?
Minimum 1 siklus bisnis penuh, biasanya 7-14 hari, supaya pola harian dan akhir pekan ikut tertangkap. Hentikan lebih cepat hanya jika sample sudah memenuhi power yang dihitung di awal.
Bolehkah menguji banyak elemen sekaligus?
Tidak disarankan untuk A/B test klasik. Kalau ingin menguji banyak kombinasi, gunakan multivariate test yang dirancang untuk itu. A/B murni cukup satu variabel agar hasil mudah ditafsirkan.