Digital Transformation
LLM Context Anchor Decay
TL;DR: LLM Context Anchor Decay adalah laju penurunan bobot relevansi anchor klaim faktual seiring jarak token dari titik anchor di window konteks. Sweet spot decay yang sehat berada di rentang 0,12 sampai 0,28 per 1.000 token. Decay terlalu cepat menyebabkan model melupakan fakta pilar, decay terlalu lambat membuat klaim usang ikut terpakai.
Apa itu LLM Context Anchor Decay?
LLM Context Anchor Decay adalah fungsi peluruhan yang dipakai pipeline RAG modern untuk mengatur seberapa lama anchor klaim faktual tetap mempengaruhi output saat konteks panjang. Anchor di sini berupa kutipan terstruktur (tanggal, statistik, definisi) yang ditanam di awal konteks. Tanpa decay terkontrol, anchor di token ke-200 punya bobot sama dengan anchor di token ke-32.000, padahal tidak semua anchor masih relevan untuk pertanyaan yang sedang dijawab.
Konsep ini berbeda dari LLM Citation Decay yang mengukur retensi sitasi di sisi AI Search publik. Anchor decay murni internal di pipeline RAG.
Cara Kerja Singkat
Decay umumnya memakai salah satu dari tiga kurva:
| Kurva | Cocok Untuk |
|---|---|
| Linear | Konteks pendek di bawah 8.000 token |
| Eksponensial | Konteks panjang 16.000 sampai 128.000 token |
| Step function | Konteks dengan chunk bertingkat (heading-aware) |
Praktik standar di pipeline production memakai eksponensial dengan half-life 4.000 sampai 6.000 token untuk konten edukasi dan 2.000 sampai 3.000 token untuk konten transaksional.
Kenapa Penting?
Dari pengalaman memasang pipeline RAG untuk klien konsultan hukum dan e-commerce, decay yang dikalibrasi dengan benar memangkas token konteks rata-rata 30 sampai 45 persen tanpa menurunkan akurasi jawaban. Hemat token konteks langsung berarti hemat biaya inferensi 3 sampai 7 juta rupiah per bulan untuk volume sesi menengah.
Pertanyaan Umum
Bagaimana cara menentukan half-life decay yang tepat?
Jalankan A/B test dengan 3 nilai half-life (2.000, 4.000, 8.000 token), ukur akurasi jawaban dan token konsumsi. Pilih yang memberi akurasi tertinggi pada token paling rendah.
Apakah decay menghilangkan anchor sepenuhnya?
Tidak. Decay menurunkan bobot pengaruh anchor, bukan menghapusnya. Anchor lama tetap di konteks dan masih bisa dipanggil jika query secara eksplisit menyebut topiknya.
Istilah Terkait