Digital Marketing
Crawl Stats Report (Laporan Statistik Perayapan)
Crawl Stats Report adalah laporan di Google Search Console yang menampilkan jumlah, kecepatan, dan respons permintaan Googlebot terhadap website Anda dalam 90 hari terakhir.
TL;DR: Crawl Stats Report adalah laporan di Google Search Console yang merekam dialog teknis antara Googlebot dan website Anda selama 90 hari terakhir. Laporan ini menunjukkan total permintaan crawl, ukuran unduhan rata-rata, waktu respons server, dan rincian status code. Marketer pakai laporan ini untuk mendiagnosis penyebab indexing lambat dan menjaga kesehatan crawl budget.
Apa itu Crawl Stats Report?
Crawl Stats Report adalah panel di Google Search Console yang dapat diakses lewat Settings > Crawling. Laporan ini memvisualisasikan tiga metrik inti, yaitu jumlah permintaan crawl per hari, total byte yang diunduh, dan waktu respons rata-rata. Anggap saja seperti rekam medis kunjungan Googlebot. Setiap kali bot datang, laporan mencatat hasilnya.
Berbeda dengan Coverage Report yang fokus pada status indeks halaman, Crawl Stats Report fokus pada perilaku bot. Laporan ini cocok untuk site besar yang punya ratusan ribu URL dan ingin tahu apakah crawl budget terpakai efisien.
Cara Membaca Crawl Stats Report
Tiga area utama yang wajib dipantau marketer atau developer:
| Area | Yang Dilihat | Sinyal Sehat |
|---|---|---|
| Total crawl requests | Tren naik turun harian | Stabil atau naik bertahap |
| Average response time | Milidetik per permintaan | Di bawah 600 ms ideal |
| Host status | Robots.txt fetch, DNS, server connectivity | Hijau semua selama 30 hari |
Anda juga bisa drill-down per file type (HTML, JS, CSS, gambar), per response code (200, 301, 404, 5xx), dan per Googlebot type (smartphone, desktop, image).
Kenapa Penting?
Bagi marketer Indonesia yang website-nya berbasis Next.js atau platform headless, Crawl Stats Report jadi alat verifikasi pertama saat konten baru tidak segera muncul di Google. Lonjakan response time atau gelombang 5xx errors bisa jelaskan kenapa indexing tertunda. Dalam beberapa proyek e-commerce yang Vito Atmo audit, perbaikan response time dari 1,8 detik ke 480 ms membuat jumlah halaman ter-crawl per hari naik 30 sampai 50 persen.
Pertanyaan Umum
Apakah Crawl Stats Report berlaku untuk semua website?
Ya, semua property di Search Console yang sudah terverifikasi otomatis punya laporan ini, baik domain property maupun URL prefix property.
Berapa sering laporan diperbarui?
Data baru muncul rata-rata setiap 24 jam, tapi laporan menampilkan rentang 90 hari ke belakang.