Studi Kasus Felicia Tan: Pindah ke Bayesian A/B Testing Memendekkan Siklus Eksperimen Iklan Meta dari 21 ke 9 Hari di 2026

TL;DR: Felicia Tan, pemilik brand skincare D2C, sebelumnya stuck di siklus A/B test 21 hari karena pakai threshold p-value 0,05 ala frequentist. Setelah migrasi ke Bayesian A/B testing dengan threshold probabilitas menang 95% dan expected loss kurang dari 1%, siklus eksperimen turun ke 9 hari dengan kualitas keputusan setara. Biaya test (opportunity cost varian losing) berkurang 38 persen.

Selama enam bulan terakhir saya mendampingi Felicia Tan di rotasi kreatif iklan Meta. Tim-nya menjalankan rata-rata 8 eksperimen per bulan: dari thumbnail video, hook 3-detik pertama, hingga landing page. Masalahnya, setiap test butuh 21 hari sebelum dianggap "significant" dengan pendekatan klasik. Padahal di periode tersebut, varian losing terus membakar budget 40-60% dari total spend.

Saat saya tawarkan untuk switch ke Bayesian A/B testing, awalnya tim ragu. Bayesian terdengar lebih "longgar" dan rawan false positive. Ternyata, dengan setup threshold yang tepat dan disiplin reading expected loss, hasilnya justru lebih cepat dan lebih confident.

Kenapa Frequentist Tidak Lagi Cocok untuk Felicia

Tim Felicia menjalankan 8-10 test paralel per bulan. Dengan pendekatan frequentist standar (p-value 0,05), setiap test butuh mencapai sample size statistik tetap sebelum boleh dihentikan. Peeking di tengah test dilarang karena meningkatkan false positive rate.

Realita di lapangan: tim sering "peek" lewat dashboard Meta Ads tanpa sadar, lalu mengambil keputusan prematur. Atau sebaliknya, varian losing yang sudah jelas kalah tetap dibiarkan jalan sampai habis kuota waktu. Kedua kondisi merugikan, dan inilah saatnya melirik Bayesian A/B testing yang fleksibel terhadap continuous monitoring.

Setup Migrasi: Threshold dan Prior

Pertama, kami sepakati threshold keputusan: probabilitas varian menang minimum 95%, dan expected loss maksimum 1% dari baseline conversion rate. Threshold ini bukan asal pilih, melainkan disesuaikan dengan risk appetite Felicia yang konservatif terhadap kampanye prospecting.

Kedua, kami set prior berbasis data historis. Kampanye serupa di kategori skincare D2C Indonesia menunjukkan baseline CVR landing page 2,1-3,4% dengan lift kreatif baru rata-rata 8-12%. Prior ini di-encode sebagai distribusi Beta(40, 1700) untuk control dan distribusi netral untuk varian. Penjelasan teknis prior tersedia di VWO Bayesian Calculator Documentation.

Hasil 90 Hari Pertama

Yang paling menarik bagi Felicia bukan kecepatan, tapi confidence di setiap keputusan. Dashboard Bayesian menampilkan "probabilitas Varian B mengalahkan A: 96,3%" jauh lebih mudah dipresentasikan ke partner bisnis dibanding "p-value 0,03". Konsep statistical significance yang kompleks tidak perlu dijelaskan setiap kali rapat budget.

Lesson Learned dan Peringatan

Bayesian bukan peluru perak. Tiga hal yang harus diwaspadai:

1. Prior bias. Kalau prior terlalu kuat ke salah satu varian, hasil bisa miring. Solusi: pakai weakly informative prior atau benchmark industri yang netral.
2. Threshold ketat. Probabilitas menang 95% sounds "longgar" dibanding p-value 0,05, padahal sebenarnya setara secara matematika untuk kasus simetris.
3. Disiplin expected loss. Jangan hanya lihat probabilitas menang. Cek juga expected loss kalau salah pilih, karena dua varian bisa sama-sama 51% menang tapi loss-nya berbeda jauh.

Untuk tim yang baru migrasi, saya rekomendasikan paralel run frequentist dan Bayesian di 3-4 test pertama untuk kalibrasi keyakinan tim. Setelah itu, fully Bayesian aman dijalankan.

Pertanyaan Umum

Apakah semua kampanye cocok untuk Bayesian?

Tidak. Kampanye high-stakes (peluncuran produk baru, ad creative dengan implikasi brand) sebaiknya tetap pakai frequentist dengan sample size kaku untuk objektivitas. Bayesian unggul di optimasi iteratif harian.

Tool apa yang dipakai Felicia?

Untuk eksperimen creative dan landing page, kami pakai Statsig (self-hosted). Untuk pengukuran lift kampanye iklan secara holistik, kami padukan dengan conversion lift study native Meta.

Berapa lama tim butuh adaptasi?

Sekitar 3-4 minggu sampai tim nyaman membaca dashboard Bayesian secara intuitif. Pelatihan awal 2 jam plus mentoring 30 menit per minggu sudah cukup untuk tim 3-4 orang.

Penutup

Kasus Felicia menunjukkan bahwa pilihan metodologi statistik bukan urusan teoritis semata. Bayesian A/B testing memberikan kecepatan, intuisi, dan disiplin probabilistik yang lebih cocok dengan ritme tim marketing modern. Frequentist tetap punya tempat, tapi untuk optimasi sehari-hari di akun spend menengah ke atas, Bayesian layak dipertimbangkan serius.