Digital Transformation
Robots Meta Tag
TL;DR: Robots meta tag adalah instruksi HTML di tag head yang memberi tahu Googlebot dan crawler AI cara memperlakukan halaman, mulai dari noindex sampai max-snippet. Berbeda dengan robots.txt yang mengatur akses crawl di level file, robots meta tag mengatur indexing dan tampilan snippet di level halaman individual.
Apa itu Robots Meta Tag?
Robots meta tag adalah baris kode HTML berbentuk <meta name="robots" content="..."> yang dipasang di dalam tag <head> setiap halaman. Direktif di dalam atribut content mengontrol perilaku search engine terhadap halaman tersebut, mulai dari boleh tidaknya halaman muncul di hasil pencarian sampai panjang maksimum snippet yang ditampilkan.
Praktik standar di industri menunjukkan, robots meta tag lebih granular daripada file robots.txt. Robots.txt menutup pintu di level direktori atau path, sementara robots meta tag mengatur perilaku per halaman, termasuk halaman yang sudah dirender JavaScript.
Direktif yang Sering Dipakai
| Direktif | Fungsi |
|---|---|
index, follow | Default. Boleh diindeks, link boleh diikuti. |
noindex | Halaman tidak muncul di hasil pencarian. |
nofollow | Crawler tidak mengikuti link keluar dari halaman. |
noarchive | Tidak boleh menyimpan cached copy. |
nosnippet | Tidak menampilkan snippet di SERP. |
max-snippet:160 | Batasi panjang snippet 160 karakter. |
max-image-preview:large | Izinkan preview gambar ukuran besar. |
unavailable_after:[date] | Hapus dari indeks setelah tanggal tertentu. |
Untuk crawler AI, direktif tambahan seperti noai dan noimageai mulai didukung di beberapa platform per April 2026, walaupun dukungan lintas mesin masih bervariasi.
Kenapa Penting?
Robots meta tag adalah alat kontrol indexing paling presisi yang dipunya marketer dan developer. Halaman pencarian internal, halaman thank-you, dan halaman draft sebaiknya noindex supaya tidak menyaingi halaman utama di organic traffic. Halaman kategori e-commerce dengan paginasi sering pakai noindex, follow untuk menjaga crawl path tanpa menumpuk duplicate content.
Untuk bisnis di Indonesia yang mengandalkan SEO, salah pasang noindex bisa menghapus halaman penting dari Google dalam satu siklus crawl. Audit robots meta tag idealnya masuk dalam checklist deploy bareng schema markup dan validasi sitemap.
Pertanyaan Umum
Apa beda robots meta tag dengan robots.txt?
Robots.txt mengatur akses crawl di level file atau direktori sebelum crawler mengakses halaman. Robots meta tag berlaku setelah crawler sampai di halaman, dan mengatur indexing serta tampilan snippet.
Bisakah robots meta tag dipasang untuk crawler tertentu saja?
Bisa. Ganti name="robots" dengan nama spesifik seperti name="googlebot" atau name="bingbot" untuk menargetkan crawler tertentu. Direktif untuk satu crawler tidak otomatis berlaku untuk crawler lain.
Apakah noindex langsung menghapus halaman dari Google?
Tidak langsung. Halaman akan hilang dari indeks setelah Googlebot melakukan crawl ulang dan membaca direktif noindex. Proses ini biasanya 1 sampai 4 minggu tergantung crawl frequency.
Istilah Terkait