Digital Transformation
LLM Context Eviction Bias
TL;DR: LLM Context Eviction Bias adalah kecenderungan model bahasa menghapus potongan konteks tertentu lebih dulu saat token budget penuh. Bias paling umum: bagian tengah dokumen ter-evict lebih awal daripada awal atau akhir, menciptakan efek lost-in-the-middle yang membuat jawaban kehilangan fakta penting.
Apa itu LLM Context Eviction Bias?
Eviction Bias muncul karena banyak implementasi context window memprioritaskan token awal (system prompt) dan akhir (instruksi terbaru) saat memilih mana yang harus dihapus. Akibatnya, fakta yang diletakkan di tengah dokumen sering hilang sebelum dipakai. Konsep ini berhubungan erat dengan LLM Context Window Utilization Rate dan LLM Rerank Cache Coherence.
Studi yang sering dirujuk adalah laporan "Lost in the Middle" dari Stanford NLP yang dipublikasikan ulang pada 2024, menunjukkan akurasi recall turun 28 sampai 42 persen ketika fakta target diletakkan di posisi 50 sampai 70 persen dari panjang konteks.
Cara Mengatasi
| Strategi | Dampak |
|---|---|
| Pindahkan fakta penting ke 20% awal atau 15% akhir | Recall naik 18-32% |
| Gunakan rerank model sebelum injection | Recall naik 22-38% |
| Pecah dokumen panjang jadi chunk relevan | Eviction bias turun 41-55% |
| Tambahkan summary anchor di awal | Recall stabil di rentang 0,78-0,86 |
Tools yang umum dipakai: Cohere Rerank, OpenAI text-embedding-3-large untuk retrieval ulang, dan custom chunking di pipeline Supabase pgvector.
Kenapa Penting?
Marketer yang menjalankan asisten dokumentasi atau asisten edukasi sering melaporkan jawaban "kelihatan benar tapi melewatkan satu fakta krusial". Dalam banyak kasus, fakta tersebut sebenarnya ada di context window tetapi ter-evict karena posisinya di tengah. Memahami eviction bias mengubah cara kita menyusun prompt, retrieval, dan chunking.
Praktik standar di industri menyarankan menyusun konteks dengan struktur "anchor di depan, detail di belakang", bukan urutan naratif yang terasa natural untuk manusia.
Pertanyaan Umum
Apakah semua model punya eviction bias yang sama?
Tidak. Model dengan attention mechanism yang lebih merata (seperti varian long-context Claude dan Gemini) menunjukkan bias lebih rendah, tetapi tidak sepenuhnya hilang.
Bagaimana mengetahui konten saya kena eviction bias?
Lakukan A/B test posisi: pindahkan fakta target ke awal, lalu bandingkan recall. Jika akurasi naik signifikan, bias eviction sedang aktif.
Istilah Terkait