Statistical Significance (Signifikansi Statistik)

TL;DR: Statistical significance adalah ukuran probabilitas bahwa selisih hasil antara dua varian eksperimen bukan disebabkan kebetulan acak. Marketer biasa memakai ambang p-value di bawah 0,05 sebagai sinyal hasil layak dipercaya, namun signifikansi saja tidak cukup tanpa konteks ukuran sampel dan efek minimum yang bisa dideteksi.

Apa itu Statistical Significance?

Statistical significance, atau signifikansi statistik, berasal dari kerangka frequentist hypothesis testing. Saat menjalankan A/B testing, kita membandingkan varian A (kontrol) dengan varian B (perlakuan). Jika varian B menaikkan conversion rate dari 4 persen ke 5 persen, pertanyaannya adalah, apakah peningkatan satu persen itu nyata atau cuma fluktuasi acak.

Signifikansi statistik dihitung lewat p-value. P-value adalah probabilitas mendapat hasil seekstrem hasil yang diamati, dengan asumsi tidak ada perbedaan sebenarnya antara A dan B. Jika p-value 0,03, artinya hanya ada 3 persen kemungkinan selisih sebesar itu muncul karena kebetulan murni.

Cara Membaca Hasil Test

Ambang konvensional di marketing dan riset adalah 0,05. Hasil dengan p kurang dari 0,05 disebut "signifikan secara statistik". Beberapa hal yang sering disalahpahami:

• Signifikansi tidak menjamin pengaruh besar. Test dengan sampel sangat besar bisa memunculkan signifikansi pada perbedaan 0,2 persen yang tidak punya dampak bisnis nyata.
• Tidak signifikan bukan berarti tidak ada efek. Sampel terlalu kecil bisa menyembunyikan efek nyata.
• Mengintip hasil setiap hari sebelum sampel cukup, lalu menghentikan test saat terlihat signifikan, melanggar asumsi statistik dan menghasilkan false positive yang tinggi.

Itu sebabnya signifikansi harus dipasangkan dengan Minimum Detectable Effect (MDE) dan rencana sampel yang ditentukan sejak awal.

Kenapa Penting?

Untuk marketer Indonesia yang sering menjalankan test di traffic terbatas, signifikansi statistik adalah pengaman dari keputusan terburu-buru. Mengganti tombol CTA berdasar hasil dua hari pertama, lalu menemukan efeknya hilang setelah sebulan, adalah kerugian biaya peluang. Praktik standar di industri mengikuti rekomendasi Evan Miller untuk merencanakan sampel sebelum test dimulai.

Pertanyaan Umum

Apakah p-value di bawah 0,05 selalu wajib?

Tidak selalu. Untuk keputusan low-risk yang reversible (misal warna tombol), ambang 0,1 dengan sampel besar masih informatif. Untuk perubahan high-risk seperti pricing, banyak tim memakai 0,01 sebagai cutoff lebih ketat.

Apa beda signifikansi statistik dan signifikansi praktis?

Signifikansi statistik menjawab "apakah efek nyata". Signifikansi praktis menjawab "apakah efek cukup besar untuk worth it". Keduanya harus dipenuhi sebelum mengambil keputusan rollout.