A/B Testing Bayesian untuk Marketer Indonesia: Kapan Pakai 2026

TL;DR: A/B Testing Bayesian memberi output "peluang varian B menang" yang lebih mudah diinterpretasi dibanding nilai p frequentist. Untuk bisnis jasa Indonesia dengan traffic 5.000-20.000 sesi per bulan, metode Bayesian sering memangkas durasi tes dari 4 minggu jadi 1-2 minggu tanpa mengorbankan kualitas keputusan.

Pemilik bisnis sering bertanya: "Kapan tes ini selesai?". Pertanyaan ini sulit dijawab dengan A/B testing frequentist karena sample size harus dipatok di awal. Saat traffic kecil, durasi mudah membengkak ke 6-8 minggu. Pada titik itu, eksekutif kehilangan minat dan eksperimen dianggap birokrasi, bukan alat keputusan.

A/B Testing Bayesian menyelesaikan masalah ini dengan output yang berbeda. Bukan p-value, melainkan "peluang varian B mengalahkan A". Marketer bisa berhenti saat peluang sudah cukup tinggi, biasanya di atas 95%, dan expected loss di bawah ambang risiko bisnis.

Frequentist vs Bayesian dalam Konteks Bisnis Indonesia

Praktik standar di industri global mengandalkan frequentist karena legacy akademik. Tapi pasar Indonesia, terutama jasa profesional dan e-commerce niche, jarang punya traffic untuk menunggu signifikansi statistik klasik. Sample size minimal untuk mendeteksi lift 10% pada baseline 3% biasanya butuh sekitar 15.000 visitor per varian, angka yang tidak realistis untuk banyak bisnis lokal.

Pendekatan A/B Testing Bayesian memberi tiga keunggulan praktis: peluang menang langsung dapat dilaporkan, eksperimen bisa berhenti dinamis tanpa peeking bias, dan expected loss bisa dihitung untuk justifikasi bisnis.

Framework Keputusan Bayesian

Marketer Indonesia dapat memakai framework empat tahap berikut:

Threshold di atas adalah konvensi industri yang umum, bukan aturan kaku. Sesuaikan dengan toleransi risiko bisnis.

Studi Kasus: Eksperimen Headline Yuanita Sekar

Saat membangun halaman personal branding untuk Yuanita Sekar, Vito Atmo menjalankan tes Bayesian pada dua varian headline. Varian A memakai formula manfaat langsung, varian B memakai formula kontradiksi. Setelah 9 hari dengan 1.840 visitor terdistribusi 50/50, peluang varian B menang mencapai 97% dengan expected loss di bawah 0,5%. Lift konversi varian B berada di rentang 18-24%, dengan median 21%. Tes dihentikan dan varian B dijadikan default.

Kalau memakai frequentist klasik, tes ini butuh sekitar 22 hari lagi untuk mencapai p kurang dari 0,05 pada efek serupa. Bayesian menghemat 60% waktu eksperimen pada kasus ini.

Risiko dan Batasan

Bayesian bukan peluru perak. Beberapa keterbatasan yang perlu dipahami:

• Prior subjektif: Pilihan distribusi prior berpengaruh pada hasil awal. Untuk eksperimen pertama, pakai prior non-informatif.
• Efek kecil tetap lama: Lift di bawah 5% tetap butuh sample besar, tidak peduli metode.
• Multiple variants: Tes 4 varian sekaligus lebih kompleks. Mulai dari 2 varian dulu.

Dokumentasi resmi Google Optimize sudah dipensiunkan, namun tools seperti Statsig dan GrowthBook menyediakan Bayesian engine open-source untuk tim teknis.

Pertanyaan Umum

Apakah saya perlu data scientist untuk menjalankan Bayesian testing?

Tidak wajib. Tools seperti VWO, Convert, dan Statsig sudah menyediakan Bayesian engine otomatis. Data scientist diperlukan saat eksperimen melibatkan segmentasi atau interaksi varian.

Berapa minimum traffic untuk memulai?

Sebagai rule of thumb, traffic di atas 500 visitor per varian per minggu sudah cukup untuk eksperimen Bayesian sederhana. Di bawah itu, pertimbangkan holdout test atau qualitative testing dulu.

Apakah Bayesian bisa dipakai untuk tes harga?

Bisa, asalkan eksperimen dijalankan ethically dengan disclosure ke pengguna dan tidak mendiskriminasi segmen tertentu.

Penutup

Bayesian bukan tentang mengganti seluruh praktik eksperimen, melainkan tentang menyesuaikan tool dengan ukuran traffic. Untuk bisnis Indonesia dengan traffic terbatas, Bayesian memberi narasi keputusan yang lebih cepat dan lebih mudah dijelaskan ke stakeholder non-teknis.