Crawl Budget: Kenapa Google Tidak Mengindeks Semua Halaman Anda

TL;DR: Crawl budget adalah jumlah halaman yang Googlebot bersedia jelajahi di situs Anda dalam periode tertentu. Untuk situs kecil di bawah beberapa ratus halaman, ini jarang jadi masalah. Tapi pada situs besar atau yang banyak halaman berkualitas rendah, crawl budget yang habis sia-sia membuat halaman penting telat atau gagal terindeks. Solusinya bukan menambah halaman, tapi merapikan apa yang layak dijelajahi.

Dalam beberapa proyek terakhir menangani situs konten yang tumbuh cepat, saya berulang kali menemui keluhan yang sama: artikel baru sudah terbit berhari-hari, tapi belum juga muncul di hasil pencarian. Reaksi pertama pemilik situs biasanya menyalahkan kualitas tulisan. Padahal akar masalahnya sering ada di lapisan yang tidak terlihat, yaitu bagaimana Google membagi waktunya menjelajah situs.

Apa yang Sebenarnya Terjadi

Googlebot tidak punya waktu tak terbatas untuk setiap situs. Ia mengalokasikan sejumlah sumber daya, lalu berhenti. Jika sebagian besar alokasi itu habis untuk halaman duplikat, halaman filter yang tak berguna, atau URL parameter yang tak ada ujungnya, halaman penting Anda mengantre di belakang.

Pada situs kecil, ini hampir tidak relevan karena seluruh situs bisa dijelajahi dengan mudah. Tapi begitu jumlah URL membengkak, terutama lewat programmatic SEO atau katalog produk besar, efisiensi crawl jadi penentu apakah konten Anda terlihat atau tidak. Konsep ini secara teknis disebut crawl budget.

Sinyal Crawl Budget Anda Bermasalah

Beberapa gejala yang sering saya temui di lapangan:

• Halaman baru butuh lebih dari seminggu untuk terindeks tanpa alasan jelas.
• Laporan di Search Console menunjukkan banyak URL "Discovered, currently not indexed".
• Banyak URL parameter atau hasil filter ikut dijelajahi padahal tak bernilai SEO.
• Log server menunjukkan Googlebot menghabiskan kunjungan di halaman tak penting.

Cara paling akurat memastikannya adalah lewat analisis log file, karena di situ terlihat halaman mana yang benar-benar dikunjungi bot, bukan asumsi.

Cara Merapikannya

Prinsipnya bukan memaksa Google bekerja lebih keras, tapi membuat pekerjaannya lebih fokus.

Saat membantu menata situs konten yang menerapkan publikasi rutin tiap jam, kami menemukan bahwa sekadar mengeluarkan halaman tag dan arsip berhalaman dari sitemap sudah mempercepat pengindeksan artikel utama secara nyata. Tidak ada konten baru yang ditambah, hanya prioritas crawl yang dibenahi.

Pertanyaan Umum

Apakah situs kecil perlu khawatir soal crawl budget?

Umumnya tidak. Jika situs Anda di bawah beberapa ratus halaman dan strukturnya rapi, Google biasanya menjelajah semuanya tanpa kendala. Fokus crawl budget relevan untuk situs besar.

Apakah memblokir halaman lewat robots.txt menghapusnya dari Google?

Tidak selalu. Robots.txt mencegah penjelajahan, bukan pengindeksan. Untuk benar-benar mengeluarkan halaman dari indeks, gunakan tag noindex, bukan blokir robots.txt.

Berapa lama dampaknya terlihat?

Berdasarkan pengalaman, sinyal awal biasanya muncul dalam 2-4 minggu setelah perbaikan, tergantung seberapa sering Google menjelajah situs Anda.

Rapikan Dulu, Baru Tambah

Banyak tim refleks menambah konten saat traffic stagnan. Untuk situs besar, langkah pertama yang lebih berdampak justru membersihkan apa yang tidak layak dijelajahi, sehingga halaman terbaik Anda mendapat giliran lebih cepat. Panduan resmi soal ini tersedia di dokumentasi crawl budget Google Search Central. Untuk fondasi teknis lain, mulai dari memahami crawl budget dan XML sitemap.