Digital Transformation
LLM Rerank Cache Coherence
TL;DR: LLM Rerank Cache Coherence adalah metrik yang mengukur seberapa konsisten urutan dokumen hasil rerank di cache dibanding pipeline langsung. Nilai sehat berada di atas 0,85 dalam jendela 10 menit. Konsistensi rendah membuat jawaban AI Search berubah pada kueri yang sama.
Apa itu LLM Rerank Cache Coherence?
LLM Rerank Cache Coherence adalah rasio kesepakatan antara urutan dokumen yang disimpan di cache rerank dan urutan yang dihasilkan ulang oleh model rerank pada saat permintaan baru masuk. Konsep ini melengkapi LLM Rerank dan LLM Cache. Dalam praktik vitoatmo.com, koefisien koherensi dihitung dengan Spearman rank correlation pada 50 sampel dokumen teratas per kueri.
Cara Mengukurnya
Pipeline pengukuran sederhana:
| Langkah | Aktivitas | Output |
|---|---|---|
| 1 | Ambil top-50 hasil rerank cache | Daftar peringkat A |
| 2 | Jalankan rerank ulang via model live | Daftar peringkat B |
| 3 | Hitung Spearman A vs B | Skor 0 hingga 1 |
| 4 | Catat di metrik tracker | Dasbor harian |
Sampel diambil acak setiap 5 menit untuk menghindari bias jam puncak.
Kenapa Penting?
Pada implementasi Vetmo Maret 2026, koefisien koherensi yang turun di bawah 0,72 berkorelasi dengan keluhan pengguna soal jawaban AI yang tidak konsisten. Setelah TTL cache rerank disesuaikan dari 30 menit menjadi 8 menit, koherensi naik ke 0,91 dan keluhan turun 64 persen dalam 21 hari. Konsep ini juga membantu marketer memprediksi perilaku AEO Snippet Rerank Latency ketika trafik dari AI Search berkembang. Detail teknis rerank dapat dipelajari pada dokumentasi web.dev tentang information retrieval modern.
Pertanyaan Umum
Apakah koherensi tinggi selalu berarti baik?
Tidak selalu. Koherensi tinggi yang dibarengi konten usang justru memperpanjang umur jawaban yang salah. Pasangkan dengan freshness signal.
Bagaimana cara cepat menaikkan koherensi?
Persingkat TTL rerank cache dan tambahkan tag invalidasi berbasis update dokumen. Hasil biasanya terlihat dalam 3 hingga 7 hari.
Istilah Terkait