Crawl-delay

TL;DR: Crawl-delay adalah arahan opsional di robots.txt yang meminta crawler menunggu sejumlah detik di antara dua permintaan ke situs Anda. Tujuannya menjaga server tidak kewalahan saat dikunjungi bot. Tidak semua crawler mematuhinya, dan Googlebot mengabaikannya.

Apa itu Crawl-delay?

Crawl-delay adalah instruksi yang Anda tulis di file robots.txt untuk memperlambat laju kunjungan sebuah crawler. Nilainya berupa angka detik, misalnya Crawl-delay: 10 berarti bot diminta menunggu 10 detik sebelum mengambil halaman berikutnya.

Analoginya seperti petugas yang melayani antrean: kalau pengunjung datang terlalu cepat bertubi-tubi, loket bisa macet. Crawl-delay memberi jeda agar pelayanan tetap lancar bagi pengunjung manusia.

Cara Pakai dan Batasannya

Contoh penulisan di robots.txt:

User-agent: ClaudeBot
Crawl-delay: 10

Hal yang perlu dipahami:

• Googlebot mengabaikan crawl-delay. Untuk Google, atur laju lewat Google Search Console, bukan robots.txt.
• Sifatnya sukarela. Hanya bot patuh yang menghormatinya, seperti GPTBot dan beberapa crawler lain.
• Bukan solusi keamanan. Untuk membatasi akses sebenarnya, gunakan autentikasi, bukan crawl-delay.

Pengelolaan laju ini berkaitan erat dengan crawl budget: seberapa banyak halaman yang sanggup dan mau dirayapi bot dalam periode tertentu.

Kenapa Penting?

Untuk situs dengan resource server terbatas, lonjakan kunjungan bot bisa memperlambat halaman bagi pengunjung asli, dan kecepatan halaman ikut memengaruhi Core Web Vitals. Crawl-delay memberi kontrol sederhana atas beban ini. Namun untuk situs modern dengan hosting memadai, sering kali tidak perlu diatur sama sekali.

Pertanyaan Umum

Apakah crawl-delay mempercepat indexing?

Tidak. Crawl-delay justru memperlambat kunjungan bot. Untuk indexing lebih cepat, perbaiki struktur internal link dan sitemap, bukan crawl-delay.

Berapa nilai crawl-delay yang ideal?

Tidak ada angka baku. Untuk situs kecil dengan server sehat, biasanya tidak perlu. Jika server sering terbebani bot, mulai dari nilai kecil seperti 5-10 detik. Lihat panduan di Google Search Central.