Digital Transformation
Retrieval Precision (Akurasi Pengambilan Konteks RAG)
Retrieval precision adalah rasio dokumen relevan yang berhasil ditarik dibanding total dokumen yang diambil sistem RAG saat menjawab kueri.
TL;DR: Retrieval precision mengukur seberapa banyak dokumen yang ditarik sistem RAG benar-benar relevan dengan pertanyaan pengguna. Precision rendah berarti AI dibanjiri konteks yang tidak nyambung, dan jawaban akhir cenderung mengarang atau salah arah.
Apa itu Retrieval Precision?
Retrieval precision adalah metrik kualitas tahap retrieval di pipeline RAG. Rumus sederhananya: dokumen relevan yang ditarik dibagi total dokumen yang ditarik. Jika sistem menarik 5 chunk dan 3 di antaranya benar-benar relevan, precision-nya 60 persen. Lawannya adalah recall, yaitu apakah semua dokumen relevan yang ada di basis pengetahuan berhasil ditemukan.
Anda bisa membayangkan precision sebagai sinyal kebersihan konteks. Konteks bersih berarti model bahasa besar fokus pada informasi yang penting. Konteks kotor berarti model harus menyaring sinyal dari noise, dan biaya token meningkat tanpa manfaat akurasi. Penjelasan lengkap konsep retrieval ada di retrieval-augmented generation.
Cara Mengukur dan Memperbaiki
| Pendekatan | Dampak ke Precision |
|---|---|
| Reranking dengan cross-encoder | Naikkan precision 15-30% pada top-3 hasil |
| Metadata filtering | Buang chunk yang konteks kategorinya tidak cocok |
| Hybrid search | Gabungkan keyword + vector untuk presisi lebih stabil |
| Chunk size yang tepat | Chunk terlalu besar buyarkan sinyal, terlalu kecil hilangkan konteks |
Cara mengukur paling praktis: siapkan 30-50 pertanyaan dengan ground truth dokumen relevan, lalu jalankan retrieval dan hitung berapa banyak hasil top-K yang benar-benar relevan. Studi Anthropic menyebutkan kombinasi reranking + metadata filtering bisa menaikkan precision di banyak skenario produksi.
Kenapa Penting?
Untuk brand Indonesia yang membangun chatbot atau internal knowledge tool, retrieval precision menentukan kepercayaan pengguna. Saat membangun fitur tanya-jawab di project Atmo (LMS), saya sering melihat tutor mengeluh karena chatbot menjawab pakai materi kelas yang berbeda. Diagnosanya bukan model lemah, tapi precision tahap retrieval. Setelah menambah filter metadata berdasarkan course_id, precision naik tajam dan keluhan turun.
Precision yang baik juga menekan biaya. Token yang Anda kirim ke model bahasa besar adalah uang. Konteks lebih bersih berarti context window lebih efisien dan biaya per kueri lebih rendah.
Pertanyaan Umum
Apa bedanya precision dan recall di RAG?
Precision menjawab "dari yang ditarik, berapa yang relevan". Recall menjawab "dari yang seharusnya tertarik, berapa yang berhasil tertarik". Untuk produk dengan basis pengetahuan kecil, prioritaskan recall. Untuk basis besar, prioritaskan precision.
Berapa target precision yang sehat?
Target praktis di banyak produksi ada di kisaran 70-90% untuk top-3 dokumen. Angka ini bervariasi tergantung domain, kompleksitas pertanyaan, dan ukuran knowledge base.
Istilah Terkait