Digital Transformation
Crawl Frequency (Frekuensi Kunjungan Bot Mesin Pencari)
Crawl Frequency adalah seberapa sering bot mesin pencari atau AI Agent mengunjungi sebuah halaman web untuk mengindeks pembaruan konten dalam rentang waktu tertentu.
TL;DR: Crawl Frequency adalah seberapa sering bot mesin pencari atau AI Agent mengunjungi sebuah halaman. Halaman yang sering diperbarui dan punya otoritas tinggi biasanya dikunjungi harian. Halaman statis bisa hanya dikunjungi sebulan sekali.
Apa itu Crawl Frequency?
Crawl Frequency adalah ritme kunjungan bot mesin pencari ke sebuah URL. Googlebot, Bingbot, dan AI Agent seperti GPTBot atau PerplexityBot punya algoritma tersendiri untuk menentukan kapan mereka kembali ke halaman tertentu. Faktornya: seberapa sering halaman berubah, otoritas domain, jumlah link internal yang menunjuk ke halaman itu, dan history pembaruan konten.
Crawl Frequency berbeda dari Crawl Budget. Crawl Budget adalah total kapasitas, Crawl Frequency adalah ritme per-URL. Halaman homepage biasanya punya frekuensi tinggi, halaman arsip lama biasanya rendah.
Faktor yang Memengaruhi Crawl Frequency
| Faktor | Dampak |
|---|---|
| Update konten rutin | Frekuensi naik |
| Internal link masuk banyak | Frekuensi naik |
| Otoritas domain (backlink, brand mention) | Frekuensi naik |
| Sitemap.xml dengan lastmod akurat | Frekuensi terkontrol |
| Status 4xx atau 5xx berulang | Frekuensi turun |
| Halaman thin atau duplicate | Frekuensi turun |
Cek frekuensi aktual lewat Google Search Console di Settings > Crawl stats. Untuk AI Agent, gunakan tool seperti Indexing API atau log server.
Kenapa Penting?
Tanpa crawl, konten baru tidak akan muncul di hasil pencarian atau jawaban AI. Untuk website bisnis Indonesia, target praktis: halaman utama dan pillar konten dikunjungi minimal 1 sampai 3 hari sekali. Halaman cabang seperti glosarium boleh mingguan. Pola ini juga relevan untuk Indexing API yang memaksa crawl on-demand.
Pertanyaan Umum
Apakah saya bisa memaksa Googlebot crawl lebih sering?
Tidak secara langsung. Tapi Anda bisa naikkan frekuensi alami dengan update konten rutin, tambah internal link, dan submit lewat Indexing API untuk konten penting.
Bagaimana cek frekuensi crawl saya?
Buka Google Search Console > Settings > Crawl stats. Lihat grafik harian dan total request bot dalam 90 hari terakhir.
Istilah Terkait