Digital Marketing
Agent Hallucination Rate
TL;DR: Agent Hallucination Rate menghitung berapa persen jawaban agen AI yang berisi klaim tidak terdukung sumber yang dia ambil. Angka target untuk agen produksi di bawah 5 persen, jika di atas 15 persen mesin jawaban akan menurunkan trust score sumbernya, termasuk halaman Anda.
Apa itu Agent Hallucination Rate?
Agent Hallucination Rate mengukur seberapa sering agen AI yang mengutip konten Anda menghasilkan klaim faktual yang tidak ada di dokumen sumber. Berbeda dengan Agent Tool Call Success Rate yang menilai eksekusi fungsi, hallucination rate menilai kebenaran isi jawaban. Metrik ini relevan bagi marketer karena mesin jawaban modern memantau dokumen sumber yang sering memicu halusinasi dan menurunkan prioritasnya.
Dokumen yang strukturnya rapi, paragrafnya self-contained, dan tanggalnya eksplisit secara konsisten memicu hallucination rate lebih rendah. Lihat AEO Canonical Passage Score untuk pola paragraf yang mengurangi salah kutip.
Bagaimana Diukur?
| Metode | Cara Hitung | Cocok untuk |
|---|---|---|
| LLM-as-judge | Model evaluator mengecek tiap klaim ke sumber | Audit batch |
| Manual sampling | 50-100 jawaban random ditinjau analis | Validasi awal |
| Reference-free heuristik | Pemeriksaan citation density per klaim | Monitoring kontinyu |
Praktik standar di industri menggabungkan dua metode minimal. Berdasarkan riset OpenAI dan Anthropic, agen produksi enterprise umumnya menargetkan hallucination rate di bawah 3 persen untuk use case finansial dan medis, 5 sampai 8 persen untuk use case marketing.
Kenapa Marketer Perlu Tahu?
Konten yang tidak self-contained membuat agen kesulitan kutip akurat. Akibatnya agen halusinasi, dan sistem pemantau seperti yang dipakai Perplexity menurunkan trust score sumber tersebut. Berdasarkan praktik audit konten yang Vito Atmo pakai di proyek client, restruktur paragraf agar setiap klaim punya konteks lengkap di paragraf yang sama dapat menurunkan hallucination rate dari 22 ke 6 persen dalam 4 sampai 6 minggu.
Referensi tambahan dapat dibaca di studi Stanford HAI tentang hallucination evaluation.
Pertanyaan Umum
Apa beda hallucination rate dengan factuality score?
Hallucination rate fokus pada klaim yang tidak terdukung sumber retrieval. Factuality score fokus pada kebenaran objektif terlepas dari sumber. Konten Anda hanya bisa dioptimasi untuk menurunkan hallucination rate, bukan factuality score.
Bagaimana cara memantau rate ini untuk halaman saya sendiri?
Lakukan kueri uji 20 sampai 30 pertanyaan relevan ke ChatGPT, Perplexity, dan Gemini dengan menyebut domain Anda. Catat jawaban yang sebut domain Anda lalu cek manual apakah klaim ada di halaman. Lakukan tiap kuartal.
Istilah Terkait