Digital Transformation
X-Robots-Tag (HTTP Header)
TL;DR: X-Robots-Tag adalah HTTP response header yang memberi instruksi indexing ke crawler Google dan Bing, setara fungsi meta robots tapi diterapkan di level HTTP header. Header ini relevan untuk file non-HTML seperti PDF, gambar, dan video yang tidak punya tag <head>. Praktik standar untuk site bisnis: pakai X-Robots-Tag untuk asset statis, robots meta tag untuk halaman HTML.
Apa itu X-Robots-Tag?
X-Robots-Tag adalah HTTP response header yang dibaca oleh crawler search engine sebelum mereka memutuskan apakah akan mengindeks resource tersebut. Fungsinya identik dengan <meta name="robots"> tapi karena ditaruh di level HTTP, header ini bisa diterapkan ke semua jenis file, termasuk PDF, JPG, MP4, dan dokumen lain yang tidak punya elemen HTML. Header ini didukung Google Search sejak 2007 dan masih relevan untuk kontrol indexing granular per file di Next.js maupun server tradisional.
Direktif yang Didukung
| Direktif | Fungsi |
|---|---|
noindex | Jangan tampilkan halaman di SERP |
nofollow | Jangan ikuti link di halaman tersebut |
noarchive | Jangan simpan cached copy |
nosnippet | Jangan tampilkan snippet di SERP |
noimageindex | Jangan indeks gambar di halaman |
unavailable_after: <date> | Hapus dari indeks setelah tanggal tertentu |
Kenapa Penting?
Untuk marketer Indonesia yang mengelola site dengan banyak file unduhan (whitepaper PDF, katalog gambar, ebook), robots meta tag tidak bisa dipakai karena file tersebut bukan HTML. X-Robots-Tag adalah satu-satunya cara menahan asset itu dari indeks Google tanpa mem-blokir crawl-nya. Salah pakai bisa menyebabkan PDF lead-magnet bocor ke SERP dan menurunkan konversi formulir.
Pertanyaan Umum
Apa beda X-Robots-Tag dengan robots meta tag?
Fungsi sama, tempat berbeda. Robots meta tag ditaruh di <head> HTML, X-Robots-Tag ditaruh di HTTP header. Untuk file non-HTML, hanya X-Robots-Tag yang bisa dipakai.
Apakah X-Robots-Tag override robots.txt?
Tidak. Crawler harus tetap punya akses ke URL untuk membaca header. Jika robots.txt mem-blokir URL, X-Robots-Tag tidak akan terbaca. Untuk hide dari indeks, izinkan crawl + kirim noindex header.
Istilah Terkait