Googlebot-Extended

TL;DR: Googlebot-Extended adalah token user-agent terpisah yang dipakai Google untuk mengatur penggunaan konten website di produk AI generatifnya, seperti Gemini dan AI Overview. Dengan memblokirnya lewat robots.txt, pemilik situs bisa menolak kontennya dipakai melatih model AI tanpa memengaruhi peringkat di Google Search biasa.

Apa itu Googlebot-Extended?

Googlebot-Extended bukan crawler yang benar-benar merayapi halaman. Ia adalah kontrol izin: sebuah token yang Anda atur di file robots.txt untuk menyatakan boleh atau tidaknya konten dipakai Google untuk fitur AI generatif. Ini memisahkan dua hal yang dulu menyatu, yaitu perayapan untuk pencarian dan pemanfaatan untuk pelatihan AI.

Konsepnya mirip dengan mengatur crawl budget lewat robots.txt, tapi fokusnya bukan efisiensi perayapan melainkan hak pakai konten oleh AI.

Cara Mengaturnya

Tambahkan aturan berikut di robots.txt di root domain:

User-agent: Googlebot-Extended
Disallow: /

Aturan ini menolak pemakaian konten untuk AI generatif Google, sementara Googlebot biasa tetap bebas mengindeks halaman untuk SEO.

Kenapa Penting?

Bagi kreator dan pemilik bisnis, Googlebot-Extended adalah pilihan strategis. Memblokirnya melindungi konten dari pelatihan model, tapi juga bisa mengurangi peluang muncul di jawaban AI. Sebaliknya, membiarkannya terbuka memperbesar potensi visibilitas di AI Overview. Keputusan ini bergantung pada apakah otoritas merek Anda lebih diuntungkan oleh kontrol atau oleh jangkauan.

Pertanyaan Umum

Apakah memblokir Googlebot-Extended menurunkan peringkat SEO?

Tidak. Google menyatakan token ini terpisah dari perayapan Search, jadi peringkat pencarian biasa tidak terpengaruh.

Apakah ini sama dengan GPTBot milik OpenAI?

Mirip tujuannya, berbeda pemiliknya. Keduanya adalah token untuk mengontrol akses AI, tapi Anda perlu mengatur masing-masing secara terpisah di robots.txt.