Digital Marketing
noindex vs disallow (robots.txt)
TL;DR: noindex mencegah halaman muncul di hasil pencarian namun crawler tetap bisa mengaksesnya, sedangkan disallow di robots.txt memblokir akses crawler ke URL tertentu. Memakai keduanya bersamaan justru berbahaya karena Google tidak bisa membaca tag noindex jika URL diblokir disallow.
Apa itu noindex vs disallow?
noindex adalah direktif yang ditempatkan via meta tag HTML atau header HTTP X-Robots-Tag yang memberitahu mesin pencari untuk tidak menyertakan halaman tersebut di indeks hasil pencarian. Disallow adalah aturan di file robots.txt yang melarang crawler mengakses path atau URL tertentu sejak awal. Keduanya kontrol berbeda di lapisan berbeda, satu di level halaman, satu di level akses crawler. Pemahaman ini penting untuk strategi SEO yang sehat.
Perbedaan Mendasar
| Aspek | noindex | disallow |
|---|---|---|
| Lokasi | Meta tag atau HTTP header | robots.txt |
| Efek | Halaman diakses tapi tidak diindeks | Halaman tidak diakses crawler |
| Cocok untuk | Halaman thank-you, hasil filter | Folder admin, file pribadi |
| Konflik | Wajib bisa diakses crawler | Tidak boleh dikombinasikan dengan noindex |
Untuk kontrol granular per halaman, gunakan robots meta tag atau X-Robots-Tag header.
Kenapa Penting?
Salah satu kesalahan klasik di klien UMKM Indonesia yang saya tangani adalah memblokir halaman thank-you di robots.txt sambil memasang meta noindex, kemudian heran kenapa halaman tetap muncul di hasil pencarian dengan tampilan kosong. Google merekomendasikan satu kontrol untuk satu tujuan, bukan kombinasi keduanya. Memahami beda ini menghindari kebocoran konten privat dan tetap menjaga kebersihan indeks.
Pertanyaan Umum
Mana yang lebih kuat, noindex atau disallow?
Tergantung tujuan. noindex lebih kuat untuk mencegah halaman muncul di SERP, disallow lebih kuat untuk menghemat crawl budget.
Boleh pakai keduanya bersamaan?
Tidak. Jika URL diblokir disallow, crawler tidak akan membaca tag noindex, sehingga halaman bisa tetap terindeks via backlink eksternal.
Istilah Terkait