Crawl Budget untuk Website Bisnis Indonesia: Cara Mengarahkan Prioritas Googlebot ke Halaman yang Menghasilkan Uang di 2026

TL;DR: Crawl budget adalah jumlah URL yang Googlebot rayapi di domain Anda dalam periode tertentu. Untuk website bisnis Indonesia berukuran 1.000 sampai 100.000 halaman, crawl budget jadi masalah saat URL parameter, halaman filter e-commerce, dan halaman thank-you menyedot kuota dari halaman uang. Solusinya tiga langkah: blokir URL non-prioritas via robots.txt, perbaiki redirect chain, dan kuatkan internal link ke halaman penting.

Dalam beberapa proyek migrasi e-commerce yang saya tangani, sering muncul pola yang sama. Pemilik bisnis fokus menambah halaman produk baru, tapi Googlebot justru menghabiskan 60 sampai 70 persen waktu di halaman filter, halaman pencarian internal, dan URL parameter UTM yang tidak bernilai SEO. Halaman produk yang baru terbit malah baru terindeks dua sampai empat minggu kemudian.

Crawl budget bukan teori akademis. Ini adalah cara Google mengalokasikan sumber daya merayapi situs Anda. Saat sumber daya itu habis di halaman keliru, halaman bisnis utama jadi korban. Artikel ini membahas cara mendiagnosis dan mengarahkan ulang prioritas Googlebot.

Apa Itu Crawl Budget dan Kapan Jadi Masalah

Crawl budget terdiri dari dua komponen: crawl rate limit (berapa banyak request per detik yang server Anda tahan) dan crawl demand (seberapa sering Google ingin merayapi konten Anda). Penjelasan resmi tersedia di Google Search Central tentang crawl budget management.

Untuk situs di bawah 1.000 URL, crawl budget jarang jadi masalah. Untuk situs 10.000 ke atas, terutama e-commerce dan portal berita, masalah mulai muncul. Lihat juga crawl-budget di glosarium dan indexability.

Tiga Pencuri Crawl Budget yang Paling Umum

Dalam audit Atmo (LMS) tahun lalu, kami menemukan 14.000 URL parameter aktif untuk situs yang sebenarnya hanya punya 800 halaman bisnis riil. Setelah membersihkan parameter dan menambah canonical url, waktu indeks halaman baru turun dari rata-rata 9 hari ke 2 hari.

Bagaimana Mendiagnosis Crawl Budget

Tiga sumber data wajib dicek:

1. Crawl Stats Report di Search Console. Buka Settings, lalu Crawl stats. Lihat distribusi response code dan tipe file. Jika 4xx atau redirect lebih dari 15 persen, ada masalah.
2. Log file server. Filter user-agent Googlebot, hitung halaman yang paling sering dirayapi. Bandingkan dengan daftar halaman yang Anda anggap penting.
3. Sitemap vs reality. Bandingkan jumlah URL di sitemap dengan jumlah URL yang Search Console laporkan ditemukan tapi belum terindeks.

Saat menangani Vetmo, kami menemukan bahwa 22 persen crawl budget habis di halaman /search dengan kombinasi query kosong. Setelah blokir di robots.txt, halaman layanan utama mulai dirayapi dua kali lebih sering dalam dua minggu.

Studi Kasus: Nalesha Parfum

Nalesha (e-commerce parfum) punya katalog 180 produk. Awalnya tampak kecil, tapi filter kombinasi (kategori, aroma, harga, brand) menghasilkan lebih dari 8.000 URL parameter. Crawl Stats Report menunjukkan Googlebot menghabiskan 38 persen waktu di filter, hanya 12 persen di halaman produk utama.

Tindakan yang diambil: blokir filter di robots.txt kecuali kategori utama, set canonical ke halaman kategori untuk URL parameter, perbaiki redirect chain lama dari migrasi domain dua tahun sebelumnya. Tiga bulan kemudian, halaman produk yang dirayapi naik dari rata-rata 22 ke 71 per hari, dan organic traffic kategori naik 35 persen.

Pertanyaan Umum

Berapa ukuran situs yang harus mulai khawatir crawl budget?

Mulai relevan saat situs punya lebih dari 10.000 URL atau saat Anda melihat banyak halaman tidak terindeks di Search Console.

Apakah meningkatkan kecepatan server mempengaruhi crawl budget?

Ya. Server lebih cepat memberi sinyal ke Google bahwa crawl rate limit bisa dinaikkan. Praktik standar: TTFB di bawah 600 ms.

Bagaimana jika halaman penting saya jarang dirayapi?

Tambah internal link kontekstual dari halaman pilar yang sering dirayapi, dan pastikan URL ada di sitemap dengan tanggal lastmod akurat.

Apakah disallow di robots.txt menghapus halaman dari indeks?

Tidak otomatis. Disallow hanya mencegah crawling, bukan indexing. Untuk de-index pasti, pakai meta robots noindex.

Penutup

Crawl budget yang sehat adalah investasi jangka panjang. Audit awal mungkin butuh dua sampai empat hari kerja, tapi dampaknya terasa sampai bertahun-tahun ke depan, terutama saat situs Anda terus tumbuh. Mulailah dari Crawl Stats Report Search Console, lalu petakan tiga pencuri terbesar di situs Anda.