Digital Transformation
User-agent
TL;DR: User-agent adalah label identitas yang dikirim setiap browser atau bot ketika meminta sebuah halaman web. Server memakainya untuk mengenali pengunjung, dan file robots.txt memakainya untuk menetapkan aturan akses per bot, misalnya mengizinkan atau memblokir GPTBot.
Apa itu User-agent?
User-agent adalah potongan teks yang otomatis dikirim oleh perangkat lunak (browser, aplikasi, atau bot) setiap kali mengakses situs. Teks ini memberi tahu server: "Saya Chrome di Android", atau "Saya crawler AI bernama ClaudeBot". Server lalu bisa merespons sesuai identitas itu.
Analoginya seperti tanda pengenal di pintu masuk. Satpam (server) melihat tanda pengenal (user-agent) untuk tahu apakah yang datang pengunjung biasa, karyawan, atau kurir, lalu mengarahkan mereka sesuai aturan.
Cara User-agent Dipakai
Dua konteks utama:
| Konteks | Fungsi |
|---|---|
| robots.txt | Menargetkan aturan ke bot tertentu, misalnya User-agent: GPTBot |
| Server / analytics | Mendeteksi jenis perangkat, browser, atau membedakan bot dari manusia |
Di robots.txt, blok aturan selalu diawali baris User-agent: yang menyebut nama bot, diikuti Allow atau Disallow. Tanda bintang User-agent: * berarti aturan berlaku untuk semua bot. Crawler yang patuh, seperti ClaudeBot, akan mencari nama dirinya lalu mengikuti aturan yang sesuai.
Kenapa Penting?
Memahami user-agent adalah dasar untuk mengatur visibilitas situs di AI Search dan mesin pencari. Tanpa mengenali user-agent, Anda tidak bisa secara selektif mengizinkan bot yang menguntungkan (agar konten dirujuk AI) sekaligus membatasi bot yang tidak diinginkan. Ini juga membantu membaca analytics dengan benar, karena trafik bot bisa dipisahkan dari pengunjung manusia.
Pertanyaan Umum
Apakah user-agent bisa dipalsukan?
Bisa. User-agent mudah diubah, jadi tidak boleh dijadikan satu-satunya alat keamanan. Untuk perlindungan nyata, gunakan autentikasi atau verifikasi IP.
Di mana saya melihat user-agent saya sendiri?
Buka alat seperti yang dijelaskan di dokumentasi MDN tentang User-Agent, atau cek di developer tools browser pada tab Network.