Digital Marketing
A/B Testing Bayesian
TL;DR: A/B Testing Bayesian adalah metode pengujian dua varian yang memakai pendekatan probabilitas Bayesian, bukan p-value frequentist. Hasilnya berupa "peluang varian B lebih baik dari A" yang lebih mudah dijelaskan ke stakeholder bisnis dibanding nilai signifikansi statistik klasik.
Apa itu A/B Testing Bayesian?
A/B Testing Bayesian adalah pendekatan uji eksperimen pemasaran yang menghitung peluang langsung sebuah varian mengalahkan varian lain. Berbeda dengan A/B testing frequentist yang berhenti pada nilai p, metode Bayesian memberi output yang lebih intuitif: "varian B punya 92% peluang menang". Marketer Indonesia yang sering bekerja dengan sample kecil di pasar niche merasakan metode ini lebih praktis karena tidak butuh menunggu signifikansi statistik klasik untuk membuat keputusan bisnis.
Cara Kerja Singkat
Bayesian memulai dari distribusi prior, lalu memperbarui posterior setiap kali data baru masuk. Output utamanya tiga:
- Peluang varian B mengalahkan A (probability to beat).
- Expected loss kalau salah pilih.
- Credible interval untuk lift estimasi.
Praktik standar di industri menempatkan threshold "menang" pada peluang di atas 95% dan expected loss di bawah 1% dari baseline.
Frequentist vs Bayesian
| Aspek | Frequentist | Bayesian |
|---|---|---|
| Output | p-value | probability to beat |
| Sample size | tetap di awal | bisa berhenti dinamis |
| Interpretasi | rumit ke non-statistician | langsung ke peluang |
| Risiko peeking | tinggi | rendah |
Kenapa Penting?
Bisnis jasa Indonesia jarang punya traffic besar untuk menunggu signifikansi frequentist. Dalam beberapa proyek personal branding klien, Vito Atmo melihat eksperimen Bayesian memangkas durasi tes dari 4 minggu menjadi 1-2 minggu pada landing page dengan konversi 2-5%. Selain itu, narasi "peluang menang 90%" jauh lebih mudah disetujui pemilik bisnis dibanding "p kurang dari 0,05".
Pertanyaan Umum
Apakah Bayesian selalu lebih cepat dari frequentist?
Tidak selalu. Pada sample sangat kecil dan efek kecil, durasi tetap panjang. Bayesian unggul saat efek relatif jelas atau saat early stopping diperlukan.
Tools apa yang mendukung Bayesian testing?
Beberapa platform seperti VWO, Convert, dan Statsig sudah memakai pendekatan Bayesian default. Untuk eksperimen kustom, library Python PyMC atau pyAB umum dipakai.
Istilah Terkait