Multi-Armed Bandit untuk Marketer Indonesia: Cara Optimasi Konversi Tanpa Membayar Mahal Selama Eksperimen Berjalan

TL;DR: Multi-Armed Bandit (MAB) adalah algoritma eksperimen yang mengalokasikan lebih banyak trafik ke varian yang berperforma baik secara real-time, sambil tetap mengeksplorasi varian lain. Untuk marketer Indonesia yang menjalankan iklan harian, MAB bisa memangkas opportunity cost selama tes 10-30% dibanding A/B test 50:50, asal tujuan eksperimen adalah maksimasi konversi, bukan validasi statistik kuat.

Setiap minggu saya melihat pola yang sama di tim marketing Indonesia. Mereka menjalankan A/B test pada landing iklan berbayar, lalu menunggu 14 hingga 28 hari supaya hasil signifikan. Selama menunggu itu, separuh trafik berbayar tetap dialokasikan ke varian yang sebenarnya sudah jelas kalah sejak hari ke-3.

Akibatnya, biaya iklan yang seharusnya menghasilkan konversi tambahan justru terbuang untuk membuktikan apa yang sudah terlihat. Multi-Armed Bandit menawarkan cara berbeda: alih-alih menunggu, algoritma memindahkan trafik secara dinamis ke varian unggul sambil tetap mengeksplorasi varian lain.

Kapan MAB Lebih Baik daripada A/B Test Klasik

Bukan semua eksperimen cocok untuk Multi-Armed Bandit. Pilih MAB ketika tujuannya adalah memaksimalkan konversi total selama eksperimen berjalan, dan biaya kehilangan konversi terasa nyata. Contoh kasus yang ideal:

• Optimasi headline iklan musiman dengan window pendek (Ramadan, Harbolnas)
• Rotasi creative di campaign berbayar dengan budget harian besar
• Test thumbnail email kampanye blast satu kali

Sebaliknya, [A/B Testing](/glosarium/ab-testing) klasik tetap lebih tepat untuk perubahan yang membutuhkan kepastian statistik tinggi: harga, fitur produk inti, atau perubahan UX yang berdampak panjang. Di kasus seperti ini, p-value dan confidence interval punya nilai bisnis yang konkret.

Tiga Pola MAB yang Paling Sering Dipakai

Thompson Sampling adalah pilihan default yang aman karena tidak butuh tuning hyperparameter berat dan secara matematis seimbang antara eksplorasi dan eksploitasi. Penelitian Google (dokumentasi resmi Vertex AI Vizier) menunjukkan Thompson Sampling konsisten unggul di skenario eksperimen real-time.

Studi Kasus: Optimasi Landing Iklan Berbayar

Saat membantu Vetmo (klien pet care Vito Atmo) menyiapkan kampanye Meta Ads untuk promosi musim hujan, kami menjalankan tes 4 varian headline secara bersamaan. Pendekatan A/B test klasik akan membutuhkan estimasi 21-28 hari untuk hasil signifikan dengan budget harian yang ada. Dengan implementasi sederhana epsilon-greedy via Experimentation Platform, trafik mulai bergeser ke 2 varian unggul dalam 5 hari.

Hasilnya, total konversi selama 14 hari kampanye sekitar 18-22% lebih tinggi dibanding skenario A/B test paralel. Angka ini bukan klaim absolut, melainkan hasil pengamatan satu kasus dengan industri spesifik. Untuk industri Anda, faktor seasonality dan baseline conversion rate akan menggeser rentang ini.

Pelajaran utama: implementasi MAB tidak perlu rumit. Mulai dari static rules atau epsilon-greedy dulu sebelum membangun Thompson Sampling khusus. Kompleksitas datang belakangan saat skala trafik membenarkannya.

Risiko yang Sering Diabaikan

MAB tidak gratis. Tiga risiko yang paling sering muncul di praktik:

Pertama, hasil bisa bias kalau seasonality kuat. Jika varian A muncul dominan di pagi hari dan varian B di malam hari, MAB akan keliru menyimpulkan A lebih baik karena waktu sampling tidak seimbang. Solusinya, segmentasi waktu sebelum routing.

Kedua, Incrementality sulit diukur dengan MAB murni. Karena alokasi tidak 50:50, perhitungan lift menjadi kompleks. Untuk eksperimen yang butuh klaim kausalitas (misal pengaruh creative ke retensi), MAB harus dilengkapi holdout group terpisah.

Ketiga, MAB rentan terhadap Conversion Rate drift dari kanal eksternal. Jika satu varian mendapat boost trafik organik tiba-tiba, algoritma akan menafsirkan sebagai performa varian, bukan efek kanal. Pasang guardrail metric untuk mendeteksi anomali.

Pertanyaan Umum

Apakah MAB cocok untuk e-commerce kecil dengan trafik di bawah 5000/hari?

Tidak. MAB butuh sample yang cukup besar per arm supaya algoritma stabil. Praktik wajar di industri menyarankan minimal 200-500 konversi per arm sebelum hasil bisa dipercaya. Untuk trafik kecil, A/B test klasik dengan window lebih panjang lebih masuk akal.

Tools apa yang siap pakai untuk implementasi MAB di Indonesia?

GrowthBook (open-source), LaunchDarkly (komersial), dan VWO sudah mendukung MAB native. Untuk tim yang sudah pakai GA4 dan Google Ads, fitur Optimize Score di Performance Max juga bersifat MAB-like. Pilih sesuai stack yang sudah ada, bukan membangun dari nol.

Bagaimana cara meyakinkan stakeholder yang terbiasa dengan A/B test?

Mulai dari satu pilot kampanye dengan budget terbatas, lalu sajikan perbandingan total konversi antara skenario A/B simulasi dan MAB real. Angka opportunity cost yang terhitung biasanya cukup persuasif. Hindari klaim MAB selalu lebih baik, karena framing itu justru menurunkan kredibilitas.

Kapan Sebaiknya Tidak Pakai MAB

Multi-Armed Bandit bukan solusi universal. Hindari MAB jika eksperimen Anda butuh klaim statistik kuat untuk audit, regulasi, atau keputusan investasi besar. Hindari juga jika varian yang dites berbeda dalam pengalaman jangka panjang user (misal onboarding flow), karena hasil short-term MAB bisa menyesatkan untuk metrik retensi.

Per April 2026, kombinasi A/B test untuk validasi awal dan MAB untuk optimasi runtime adalah pola yang paling matang di tim marketing growth-stage. Pilih alat sesuai pertanyaan, bukan sebaliknya.