Digital Marketing
Holdout Test (Conversion Holdout)
Holdout test adalah eksperimen incrementality dengan menyisihkan sekelompok audiens dari paparan iklan tertentu untuk mengukur dampak sebenarnya dari sebuah kampanye marketing.
TL;DR: Holdout test adalah eksperimen incrementality di mana sebagian audiens sengaja tidak dipapar iklan tertentu, lalu konversi mereka dibandingkan dengan kelompok yang menerima iklan. Selisih konversi antara dua kelompok itu adalah dampak inkremental sebenarnya dari kampanye.
Apa itu Holdout Test?
Holdout test adalah varian dari A/B Testing yang khusus dirancang untuk menjawab pertanyaan, "Apakah kampanye ini benar-benar memberi konversi tambahan, atau audiens akan tetap konversi tanpa iklan?". Berbeda dengan multi-touch attribution yang membagi kredit konversi yang sudah terjadi, holdout test menjawab pertanyaan kausalitas yang lebih jujur. Konsep ini menjadi inti dari incrementality dan sering dipasangkan dengan synthetic control untuk channel yang sulit di-randomisasi.
Jenis Holdout Test
| Jenis | Cara kerja | Cocok untuk |
|---|---|---|
| Audience-level | Sebagian user di-exclude dari audience iklan | Meta, Google, channel platform-based |
| Geo holdout | Satu wilayah tidak menerima iklan, dibandingkan wilayah lain | TV, OOH, programmatic display |
| Time holdout | Periode tanpa iklan dibandingkan periode aktif | Brand campaign jangka pendek |
| Ghost ads | User di group kontrol "diberi" iklan placebo (lihat tapi tidak dipapar real) | Platform yang mendukung, mahal |
Kenapa Penting?
Tim marketing Indonesia yang hanya membaca dashboard ROAS sering menyimpulkan kampanye berhasil padahal sebagian besar konversinya akan tetap terjadi. Holdout test memberi gambaran ekonomi sebenarnya. Per April 2026, Meta Conversion Lift dan Google Conversion Lift adalah dua tools paling umum untuk holdout di platform iklan. Untuk pendalaman, Conversion Lift Meta menjelaskan setup dan ukuran sampel minimum. Praktik standar industri merekomendasikan holdout 10 hingga 20 persen audiens dengan periode pengujian minimal 2 minggu untuk hasil yang stabil.
Pertanyaan Umum
Apakah holdout test sama dengan A/B testing creative?
Tidak. A/B test creative membandingkan dua versi iklan yang dilihat audiens. Holdout test membandingkan kelompok yang melihat iklan dengan kelompok yang tidak melihat iklan sama sekali.
Berapa biaya yang hilang karena holdout?
Tergantung ukuran holdout. Holdout 10 persen artinya 10 persen audiens tidak menerima konversi yang seharusnya didorong, namun nilai insight yang didapat biasanya jauh melebihi opportunity cost.
Istilah Terkait