Digital Marketing
Robots.txt
Robots.txt adalah file teks di root domain yang memberi instruksi kepada crawler mesin pencari tentang halaman mana yang boleh atau tidak boleh diakses.
TL;DR: Robots.txt adalah file publik di
https://domain.com/robots.txtyang memandu bot pencari. Fungsinya mengatur crawl budget, bukan menyembunyikan halaman. Untuk blokir indeks, gunakan meta tagnoindex, bukan robots.txt saja.
Apa itu Robots.txt?
Robots.txt adalah file teks sederhana yang diletakkan di root direktori website, mengikuti standar Robots Exclusion Protocol. File ini memberi instruksi kepada crawler seperti Googlebot, Bingbot, dan bot AI tentang URL mana yang boleh di-crawl. Isi tipikalnya berupa pasangan direktif User-agent dan Disallow atau Allow.
Analogi sederhana: robots.txt mirip papan petunjuk di pintu gedung, bukan kunci pintu. Bot yang patuh akan mengikuti, tapi crawler jahat bisa mengabaikan. Oleh karena itu, robots.txt bukan alat keamanan. Konten sensitif harus dilindungi dengan autentikasi, bukan sekadar Disallow. File ini sering bekerja bersama XML Sitemap untuk mengarahkan crawl prioritas.
Direktif Umum
| Direktif | Fungsi |
|---|---|
User-agent: * | Menargetkan semua bot |
Disallow: /admin/ | Larang crawl folder /admin/ |
Allow: /public/ | Izinkan path tertentu di dalam folder yang di-disallow |
Sitemap: https://... | Menunjuk lokasi sitemap |
Kenapa Penting?
Untuk website dengan ribuan URL, seperti katalog e-commerce UMKM atau blog berita, robots.txt menghemat crawl budget dengan mengarahkan Googlebot ke halaman penting saja. Saat membangun website klien, saya biasanya mem-block halaman hasil filter internal, folder admin, dan halaman staging supaya tidak memboroskan kuota crawl Google. Referensi lengkap ada di dokumentasi Google Search Central tentang Robots.txt.
Pertanyaan Umum
Apakah robots.txt bisa menyembunyikan halaman dari Google?
Tidak sepenuhnya. Halaman yang di-disallow tetap bisa muncul di hasil pencarian jika ada backlink eksternal. Untuk hilang dari indeks, pakai meta tag noindex.
Di mana file robots.txt harus diletakkan?
Di root domain, misalnya https://vitoatmo.com/robots.txt. Tidak boleh di subfolder.
Istilah Terkait