Digital Transformation
LLM Context Eviction Policy
TL;DR: LLM Context Eviction Policy adalah aturan formal untuk membuang potongan konteks dari window LLM saat token mendekati batas. Kebijakan yang baik memadukan usia chunk, skor relevansi rerank, dan frekuensi pemanggilan supaya jawaban tetap akurat tanpa meledakkan biaya.
Apa itu LLM Context Eviction Policy?
LLM Context Eviction Policy adalah strategi yang dipasang di pipeline RAG untuk memutuskan chunk konteks mana yang dikeluarkan ketika token window mulai penuh. Tanpa policy eksplisit, pipeline akan mengandalkan urutan FIFO sederhana yang sering membuang chunk paling relevan hanya karena chunk itu masuk lebih dulu.
Policy ini bersaudara dengan llm-context-eviction-bias yang menggambarkan kecenderungan eviction terhadap kategori konten tertentu, dan dengan llm-citation-decay yang mengukur dampak eviction terhadap kemampuan AI Search mengutip konten.
Tiga Sinyal Utama
| Sinyal | Fungsi |
|---|---|
| Recency | Usia chunk dalam sesi, chunk lama lebih dulu dievict |
| Relevance | Skor rerank chunk terhadap query terbaru |
| Frequency | Seberapa sering chunk dipanggil ulang dalam sesi |
Kombinasi tiga sinyal ini membentuk skor evict komposit. Praktik standar di pipeline produksi memberi bobot 0,4 untuk relevance, 0,3 untuk frequency, dan 0,3 untuk recency.
Kenapa Penting?
Window konteks LLM terbatas dan mahal. Setiap token yang dipertahankan padahal tidak relevan adalah biaya yang terbuang. Bagi marketer Indonesia yang menjalankan asisten produk berbasis Next.js dan Supabase, eviction policy yang dipasang rapi bisa memangkas biaya inferensi 25 sampai 40 persen tanpa menurunkan akurasi jawaban.
Pertanyaan Umum
Apa bedanya dengan compaction?
Compaction merangkum konteks lama menjadi versi padat. Eviction membuangnya sepenuhnya.
Apakah selalu pakai LRU?
Tidak. LRU murni mengabaikan relevansi. Skor komposit lebih cocok untuk konten dengan ekor panjang.