Minimum Detectable Effect (MDE)

TL;DR: Minimum Detectable Effect (MDE) adalah perubahan terkecil dalam metrik, misalnya conversion rate, yang masih bisa dideteksi sebuah A/B test dengan ukuran sampel dan tingkat kepercayaan tertentu. MDE penting karena menentukan apakah test Anda punya kekuatan statistik untuk menemukan efek nyata, atau hanya akan menghasilkan kesimpulan "tidak signifikan" yang menyesatkan.

Apa itu MDE?

MDE adalah salah satu komponen dari power analysis sebelum eksperimen. Bersama dengan tiga elemen lain (alpha, beta, dan baseline conversion rate), MDE menentukan ukuran sampel minimum yang dibutuhkan agar A/B testing bisa mendeteksi perubahan secara meyakinkan.

Sederhananya, MDE menjawab pertanyaan, "Seberapa kecil efek yang Anda mau peduli?" Jika baseline conversion rate Anda 4 persen, dan Anda mau test bisa mendeteksi peningkatan menjadi 5 persen (selisih relatif 25 persen), maka MDE relatif Anda adalah 25 persen.

Cara Menentukan MDE

Tiga pertimbangan utama:

• Dampak bisnis minimum. Berapa peningkatan terkecil yang masih layak rollout, mengingat biaya implementasi dan risiko teknis.
• Traffic yang tersedia. MDE kecil butuh sampel besar. Jika landing page Anda dapat 1.000 sesi per minggu, mendeteksi MDE 5 persen akan butuh berbulan-bulan.
• Durasi maksimum test. Test yang berjalan terlalu lama berisiko terkena bias musiman dan perubahan kualitas traffic.

Rumus pendekatan, untuk sampel per varian:

n = 16 x p(1-p) / d^2

dengan p sebagai baseline conversion rate dan d sebagai MDE absolut. Untuk perhitungan presisi, banyak tim memakai kalkulator Evan Miller atau library statistik di Python.

Kenapa Penting?

Tanpa MDE yang ditetapkan di awal, test conversion rate sering dihentikan terlalu cepat saat sampel masih kecil. Hasilnya terlihat dramatis, namun sebagian besar akan hilang saat di-rollout penuh. Untuk marketer Indonesia yang sering menjalankan test di traffic terbatas, MDE realistis biasanya antara 10 dan 25 persen relatif. MDE di bawah 5 persen umumnya hanya bisa dideteksi oleh perusahaan dengan traffic ratusan ribu sesi per bulan.

Pertanyaan Umum

Apa beda MDE absolut dan relatif?

MDE absolut menyatakan selisih dalam unit metrik, misal naik dari 4 persen ke 5 persen sama dengan 1 percentage point. MDE relatif menyatakan selisih sebagai rasio, contoh tadi sama dengan 25 persen relatif. Kebanyakan tool dan kalkulator memakai versi relatif.

Apakah MDE harus tetap selama test?

Ya. Mengubah MDE di tengah test tanpa rencana sequential testing yang sah akan merusak validitas statistical significance hasil akhir.