Statistical Significance vs Bayesian: Cara Marketer Indonesia Pilih Pendekatan A/B Test yang Tepat di 2026

TL;DR: Frequentist (p-value) cocok jika Anda bisa menentukan ukuran sampel di awal dan punya disiplin menunggu test selesai. Bayesian (probability of being best) cocok jika traffic kecil atau Anda butuh keputusan bertahap. Untuk mayoritas test marketer Indonesia di traffic 5.000 sampai 30.000 sesi per minggu, Bayesian dengan minimum runtime tujuh hari sering lebih praktis, asal MDE realistis.

Dalam beberapa proyek website client yang saya tangani belakangan, pertanyaan yang paling sering muncul saat akan menjalankan A/B test adalah, "Berapa lama harus dijalankan sebelum kami yakin?" Jawabannya tergantung pada pendekatan statistik yang dipilih, dan keputusan ini sering diabaikan oleh marketer yang langsung menekan tombol "start test" di tool seperti Google Optimize atau VWO.

Salah pilih pendekatan punya konsekuensi nyata. Saat membantu Nalesha menguji tata letak pricing page untuk koleksi parfumnya, kami sempat tergoda menghentikan test di hari ketiga karena varian B unggul 18 persen. Beruntung kami konsisten dengan rencana awal frequentist dan menunggu sampel cukup. Selisih akhir jadi 4 persen. Jika kami rollout di hari ketiga, perubahan layout itu akan jadi keputusan mahal berbasis kebetulan.

Frequentist: Pendekatan Klasik yang Disiplin

Frequentist adalah pendekatan yang muncul dalam mayoritas tutorial A/B testing. Anda menentukan hipotesis nol, hitung Minimum Detectable Effect, tetapkan alpha (biasanya 0,05) dan power (biasanya 0,8), lalu kalkulator memberi tahu berapa sampel per varian yang dibutuhkan. Test dijalankan sampai sampel itu tercapai, baru hasil dibaca lewat statistical significance p-value.

Kelebihan utamanya adalah validitas yang sudah teruji selama puluhan tahun di industri pharmasi, agrikultur, sampai marketing. Kelemahannya, intuitif untuk mengintip hasil tiap hari, dan setiap intip menambah probabilitas false positive. Jika Anda mengintip lima kali dengan ambang 0,05, false positive efektif Anda sudah di atas 14 persen.

Bayesian: Pendekatan Probabilistik yang Fleksibel

Bayesian membalik pertanyaannya. Alih-alih, "Berapa probabilitas data ini muncul jika tidak ada perbedaan?", Bayesian menanyakan, "Berapa probabilitas varian B benar-benar lebih baik dari A?" Output yang dihasilkan adalah angka seperti, "B punya 92 persen probabilitas lebih baik dari A, dengan estimasi peningkatan median 6,5 persen."

Bagi marketer non-statistisi, output Bayesian sering lebih mudah dikomunikasikan ke stakeholder. CEO atau tim sales akan paham angka "92 persen kemungkinan menang" jauh lebih cepat daripada "p-value 0,03". Bayesian juga lebih toleran terhadap pengintipan bertahap, asalkan menggunakan tool yang memang dirancang untuk itu seperti VWO Bayesian, Optimizely Stats Engine, atau library pyMC di Python.

Tabel Perbandingan Praktis

Studi Kasus: Vetmo dan Test Form Booking

Saat membangun Vetmo untuk segmen klinik hewan, traffic awal hanya sekitar 4.000 sesi per minggu. Frequentist dengan MDE 10 persen relatif akan butuh hampir dua bulan per test. Kami pindah ke pendekatan Bayesian dengan minimum runtime tujuh hari penuh (untuk meratakan efek hari kerja vs akhir pekan) dan ambang 95 persen probability to be best.

Hasil yang kami catat dalam tiga bulan pertama:

• 8 test selesai dengan keputusan jelas
• 3 test no-decision (di bawah 80 persen probabilitas), kami biarkan kontrol tetap berjalan
• 1 test "hampir menang" dengan 88 persen, kami pilih ekstensi runtime, bukan rollout

Pendekatan ini memberi kecepatan iterasi yang hilang jika kami memaksakan frequentist murni di traffic terbatas.

Kapan Tetap Frequentist

Bayesian bukan obat untuk semua hal. Ada konteks di mana frequentist tetap unggul:

• Test high-stakes pricing yang butuh dokumentasi audit jelas
• Reporting ke investor yang minta confidence interval
• Tim engineering yang sudah punya pipeline frequentist matang
• A/B testing di multi-armed bandit setting (campuran)

Pertanyaan Umum

Apakah Bayesian lebih cepat selalu menang?

Tidak. Bayesian "terasa" lebih cepat karena bisa membaca hasil bertahap, namun keputusan akhir tetap butuh data cukup. Untuk efek kecil, Bayesian dan frequentist butuh sampel yang mirip.

Bagaimana memilih ambang probability to be best?

95 persen adalah default konservatif. Untuk test low-risk dan reversible, banyak tim memakai 80 sampai 90 persen. Untuk perubahan permanen seperti redesign besar, 97 persen lebih aman.

Apakah saya butuh statistician untuk pakai Bayesian?

Tidak untuk pemakaian dasar. Tool seperti VWO dan Optimizely menyembunyikan kompleksitasnya. Anda hanya perlu paham dua angka: probability to be best dan expected uplift.

Bisa pakai keduanya sekaligus?

Bisa, namun pilih satu sebagai keputusan utama. Memakai keduanya lalu mengikuti yang lebih menyenangkan adalah jalan tercepat ke false positive.

Pilih Berdasar Konteks, Bukan Tren

Pertanyaan terbaik bukan "Frequentist atau Bayesian?", melainkan "Berapa traffic saya, seberapa cepat butuh keputusan, dan siapa yang akan baca hasilnya?" Untuk mayoritas marketer Indonesia di traffic menengah, Bayesian dengan disiplin runtime minimum 7 hari adalah titik temu yang masuk akal. Yang penting, tetapkan pendekatan sebelum test dimulai dan jangan ganti di tengah jalan.