Digital Transformation
LLM Context Prefetch Coherence
TL;DR: LLM Context Prefetch Coherence mengukur seberapa relevan konteks yang sudah di-prefetch ke cache dibanding konteks yang akhirnya dibutuhkan saat inferensi. Skor di atas 0,85 menandakan prefetch berhasil dan hemat latency. Skor di bawah 0,60 berarti cache miss tinggi, token terbuang, dan biaya inferensi naik signifikan.
Apa itu LLM Context Prefetch Coherence?
Prefetch coherence adalah metrik di pipeline RAG yang mengukur kesesuaian antara dua himpunan: konteks yang ditarik ke cache prefetch dan konteks yang benar-benar masuk window inferensi. Rumusnya sederhana: rasio overlap kedua himpunan dibagi ukuran konteks final. Konsep ini berkembang dari LLM Prefetch Cache Hit Ratio, bedanya prefetch coherence menilai kualitas isi cache, bukan hanya persentase hit.
Range Operasional
Pipeline yang sehat menjaga coherence di atas 0,85. Penurunan ke kisaran 0,60 sampai 0,70 biasanya menandakan strategi prefetch terlalu agresif (over-fetching) atau retrieval query terlalu lebar.
| Coherence | Interpretasi |
|---|---|
| > 0,85 | Cache koheren, p95 latency turun 30 sampai 40 persen |
| 0,60 sampai 0,85 | Cache rentan miss, perlu kalibrasi retrieval |
| < 0,60 | Cache rusak, token boros, audit pipeline mendesak |
Kenapa Penting?
Dalam beberapa pipeline klien yang saya kalibrasi, menaikkan coherence dari 0,52 ke 0,87 memangkas biaya inferensi 30 sampai 45 persen tanpa kehilangan akurasi snippet. Metrik ini juga berdampak ke AEO Snippet Rerank Latency, karena cache yang koheren mempercepat fase reranking. Untuk konten Indonesia dengan banyak istilah pajak, hukum, atau medis, coherence rendah sering berarti istilah kunci tidak ter-anchor dengan benar di retrieval.
Pertanyaan Umum
Bagaimana cara menghitungnya?
Bandingkan token IDs di cache prefetch dengan token IDs di konteks final inferensi. Hitung intersection, bagi dengan ukuran konteks final.
Berapa interval audit yang ideal?
Setiap 7 sampai 14 hari untuk pipeline produksi yang sibuk. Drift coherence biasanya muncul setelah update konten massal atau perubahan strategi chunking.