Digital Transformation
Retrieval Recall (Tingkat Ketertangkapan Dokumen di RAG)
Retrieval Recall adalah persentase dokumen relevan yang berhasil ditarik sistem RAG dari basis pengetahuan saat menjawab pertanyaan, dipakai sebagai metrik kualitas asisten AI sebelum tahap reranking.
TL;DR: Retrieval Recall mengukur seberapa lengkap sistem RAG menarik dokumen relevan dari basis pengetahuan saat menjawab satu pertanyaan. Recall yang rendah membuat jawaban asisten AI tampak yakin tetapi melewatkan informasi penting. Metrik ini melengkapi presisi dan menjadi indikator kesehatan retrieval sebelum tahap reranking-model.
Apa itu Retrieval Recall?
Retrieval Recall adalah perbandingan antara dokumen relevan yang berhasil diambil sistem retrieval dan total dokumen relevan yang sebenarnya tersedia di basis pengetahuan. Jika kumpulan dokumen relevan untuk satu pertanyaan ada 10 dan sistem hanya mengambil 6, recall-nya 60 persen. Metrik ini melengkapi presisi yang fokus pada seberapa "bersih" hasil retrieval. Dalam pipeline rag-chunking, recall biasanya diukur lebih dulu sebelum reranking-model dipasang.
Cara Mengukur
| Langkah | Aktivitas | Catatan |
|---|---|---|
| 1 | Siapkan golden-dataset berisi pertanyaan dan dokumen relevan | Minimum 30 pasangan untuk sinyal awal |
| 2 | Jalankan query lewat retriever | Pakai k yang sama untuk semua pertanyaan |
| 3 | Hitung dokumen relevan yang masuk top-k | Bandingkan dengan total relevan |
| 4 | Rata-rata kan recall per pertanyaan | Laporkan dalam persentase |
Kenapa Penting?
Recall yang rendah menyebabkan asisten AI menjawab dengan keyakinan tinggi padahal melewatkan dokumen kunci, dan ini sumber utama halusinasi yang sulit dideteksi. Dari pengalaman membangun knowledge base untuk klien Atmo LMS, naikkan recall dari 0,55 ke 0,82 lebih berdampak terhadap kepuasan pengguna dibanding ganti model dasar. Praktik baik mengikuti panduan Pinecone Retrieval Evaluation yang menempatkan recall sebagai metrik pertama yang perlu dijaga di atas 0,8 untuk konten teknis.
Pertanyaan Umum
Apakah recall tinggi berarti jawaban pasti benar?
Tidak. Recall hanya mengukur ketertangkapan dokumen. Kualitas jawaban tetap bergantung pada model generatif dan presisi reranker.
Recall berapa yang dianggap cukup?
Untuk dokumentasi produk dan FAQ, target praktis 0,8-0,9. Untuk basis pengetahuan riset besar, 0,7 sudah masuk akal asalkan reranker kuat.
Istilah Terkait