Digital Marketing
robots.txt untuk AI Crawler
TL;DR: robots.txt untuk AI crawler adalah aturan baris-demi-baris di file robots.txt situs Anda yang menentukan apakah bot AI seperti GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini training), dan PerplexityBot boleh meng-crawl konten Anda. Pilihan Anda menentukan apakah konten brand muncul di AI Overview, ChatGPT, dan Perplexity, atau tidak.
Apa itu robots.txt untuk AI Crawler?
robots.txt adalah file teks publik di root domain (misal https://vitoatmo.com/robots.txt) yang memberi instruksi pada bot crawler. Sejak 2023, mayoritas penyedia AI besar mengumumkan user-agent khusus yang menghormati robots.txt: OpenAI lewat GPTBot, Anthropic lewat ClaudeBot, Google lewat Google-Extended (terpisah dari Googlebot SEO), dan Perplexity lewat PerplexityBot.
Dokumentasi resmi seperti OpenAI GPTBot dan Google Search Central mencantumkan daftar lengkap user-agent ini. Kontrol ini terpisah dari llms.txt, yang lebih mengarah pada panduan struktur konten untuk LLM.
Direktif Penting yang Sering Dipakai
| User-agent | Operator | Fungsi |
|---|---|---|
| GPTBot | OpenAI | Training data ChatGPT |
| OAI-SearchBot | OpenAI | ChatGPT Search (jawaban real-time) |
| ClaudeBot | Anthropic | Training data Claude |
| Google-Extended | Training Gemini, terpisah dari SEO | |
| PerplexityBot | Perplexity | Mesin jawaban Perplexity |
| CCBot | Common Crawl | Sumber data umum LLM |
Contoh konfigurasi izinkan semua untuk maksimalkan visibilitas AI:
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
Kenapa Penting?
Keputusan ini punya konsekuensi langsung pada AEO. Memblokir GPTBot berarti konten brand Anda tidak ikut training ChatGPT, sehingga kemungkinan disebut di percakapan ChatGPT menurun drastis. Sebaliknya, mengizinkan semua AI crawler meningkatkan share-of-answer di mesin jawaban, namun konten Anda dipakai untuk training tanpa kompensasi.
Praktik yang saya pakai di proyek client B2B: izinkan AI search bot real-time (OAI-SearchBot, PerplexityBot) yang memberi sitasi balik, tapi blokir bot training murni jika konten bersifat strategis. Untuk personal brand seperti vitoatmo.com, saya mengizinkan semua karena tujuan utamanya adalah visibilitas maksimum.
Pertanyaan Umum
Apakah memblokir GPTBot mempengaruhi ranking Google?
Tidak. GPTBot terpisah dari Googlebot. Memblokir GPTBot hanya mempengaruhi training data ChatGPT, bukan SEO klasik Google.
Apa beda Google-Extended dengan Googlebot?
Googlebot meng-index untuk Google Search (SEO). Google-Extended khusus training Gemini dan fitur AI. Anda bisa memblokir Google-Extended tanpa kehilangan ranking SEO.