Digital Marketing
Crawl Budget
Crawl budget adalah jumlah halaman yang mau dan mampu Googlebot jelajahi di sebuah website dalam periode tertentu, dipengaruhi crawl rate limit dan crawl demand.
TL;DR: Crawl budget adalah kuota efektif yang dipakai Googlebot untuk menjelajahi halaman di sebuah website. Nilainya ditentukan oleh dua komponen, yaitu crawl rate limit (seberapa cepat server mampu melayani) dan crawl demand (seberapa besar minat Google terhadap URL tersebut). Website di bawah 10.000 halaman umumnya tidak perlu khawatir, tapi situs besar wajib mengelola agar halaman penting cepat terindeks.
Apa itu Crawl Budget?
Crawl budget adalah perkiraan jumlah URL yang Googlebot bersedia dan sanggup jelajahi di domain tertentu pada rentang waktu tertentu. Istilah ini dipopulerkan lewat dokumentasi resmi Google Search Central dan menjadi perhatian khusus bagi situs dengan banyak URL, misalnya e-commerce, marketplace, atau portal berita.
Komponen utamanya ada dua. Pertama, crawl rate limit, yaitu batas atas request per detik yang tidak membebani server. Kedua, crawl demand, yaitu seberapa penting atau populer URL tersebut di mata Google, yang dipengaruhi popularitas halaman, kebaruan konten, dan ranking factor lainnya.
Faktor yang Boros Crawl Budget
| Faktor | Dampak |
|---|---|
| Faceted navigation tanpa kontrol | Ribuan URL duplikat |
| Session ID di URL | Variasi URL tak terbatas |
| Parameter tracking tidak ter-canonicalize | URL duplikat di crawl log |
| Infinite scroll tanpa pagination SEO-friendly | Konten tidak terindeks |
| Soft 404 dan redirect chain panjang | Buang request berulang |
| Halaman low-value yang tidak di-noindex | Kuota habis di halaman sepi |
Kenapa Penting?
Halaman yang tidak di-crawl tidak mungkin terindeks, dan halaman yang tidak terindeks tidak bisa muncul di SERP. Untuk UMKM Indonesia yang websitenya kecil, optimasi crawl budget biasanya cukup dengan XML Sitemap yang bersih dan robots.txt yang benar. Untuk situs e-commerce dengan ribuan produk, pengelolaan crawl budget menentukan seberapa cepat katalog baru bisa muncul di pencarian.
Pertanyaan Umum
Apakah semua website harus peduli crawl budget?
Tidak. Situs di bawah beberapa ribu URL umumnya tidak mengalami masalah. Crawl budget menjadi prioritas ketika jumlah URL melebihi 10.000 atau ketika konten baru lambat terindeks.
Bagaimana cara memeriksa crawl budget?
Gunakan laporan Crawl Stats di Google Search Console. Lihat total request per hari, average response time, dan rasio kode status 200 vs 4xx/5xx.
Istilah Terkait