Digital Marketing
Google-Extended
TL;DR: Google-Extended adalah pengaturan di robots.txt yang menentukan apakah konten situs Anda boleh digunakan Google untuk melatih model AI generatifnya (Gemini dan fitur turunannya). Memblokirnya tidak menghapus situs Anda dari Google Search, tetapi membatasi pemakaian konten untuk pelatihan AI.
Apa itu Google-Extended?
Google-Extended adalah user-agent kontrol yang Google perkenalkan pada September 2023. Berbeda dengan crawler robots.txt biasa yang mengatur pengindeksan untuk SEO, Google-Extended khusus mengatur izin penggunaan konten untuk pelatihan model AI generatif. Anggap saja seperti dua pintu terpisah: satu untuk mesin pencari, satu untuk mesin pelatihan AI.
Yang penting dipahami: memblokir Google-Extended tidak menurunkan peringkat atau menghapus halaman Anda dari hasil Search. Keduanya berjalan di jalur berbeda. Dalam beberapa audit teknis yang saya lakukan untuk klien, kebingungan ini sering muncul, pemilik situs takut memblokirnya akan merusak traffic organik, padahal dampaknya hanya pada pemakaian data pelatihan.
Cara Mengatur Google-Extended
Tambahkan blok berikut di file robots.txt situs Anda:
| Tujuan | Sintaks robots.txt |
|---|---|
| Blokir total pelatihan AI | User-agent: Google-Extended lalu Disallow: / |
| Izinkan penuh | Tidak perlu menambahkan apa pun (default = diizinkan) |
| Blokir folder tertentu | User-agent: Google-Extended lalu Disallow: /premium/ |
Pengaturan ini terpisah dari token AI crawler lain seperti GPTBot (OpenAI) atau ClaudeBot (Anthropic), jadi setiap mesin AI perlu diatur sendiri-sendiri.
Kenapa Penting?
Bagi marketer dan pemilik bisnis Indonesia, keputusan ini menyangkut trade-off. Mengizinkan pelatihan bisa meningkatkan kemungkinan brand Anda dikenali model AI saat orang bertanya ke asisten AI. Memblokirnya melindungi konten premium atau berbayar dari ikut "dipelajari" gratis. Untuk situs yang strateginya membangun otoritas dan ingin muncul di jawaban AI, umumnya membiarkannya terbuka lebih menguntungkan visibilitas jangka panjang.
Pertanyaan Umum
Apakah memblokir Google-Extended menghapus situs saya dari Google?
Tidak. Google-Extended hanya mengatur pelatihan model AI. Pengindeksan untuk Google Search dikontrol oleh aturan robots.txt standar dan tag noindex, bukan oleh token ini.
Apakah Google-Extended sama dengan GPTBot?
Tidak. Google-Extended mengatur AI Google (Gemini), sedangkan GPTBot mengatur crawler OpenAI. Anda perlu mengatur masing-masing secara terpisah di robots.txt.
Istilah Terkait