Digital Transformation
LLM Context Shard Coherence
TL;DR: LLM Context Shard Coherence adalah ukuran konsistensi antar pecahan (shard) konteks yang dipecah ke beberapa request paralel. Skor coherence di bawah 0,7 sering menghasilkan jawaban yang bertabrakan, sementara skor 0,8 ke atas menjaga determinisme sesi tetap di kisaran 0,9.
Apa itu LLM Context Shard Coherence?
LLM Context Shard Coherence adalah metrik yang mengukur seberapa konsisten kumpulan shard konteks yang dipecah ke beberapa worker atau request paralel. Saat pipeline RAG memecah dokumen besar menjadi shard untuk parallel processing, model bahasa harus tetap menghasilkan jawaban yang koheren saat shard digabung kembali. Skor coherence mengukur risiko jawaban yang bertabrakan.
Hubungannya erat dengan LLM Context Compaction Ratio dan [LLM Rerank Cache Coherence](/glosarium/llm-rerank-cache-coherence). Bedanya, shard coherence fokus pada konsistensi semantik antar potongan konteks, bukan pada efisiensi cache.
Cara Menghitung dan Sweet Spot
| Metrik | Formula Singkat | Sweet Spot |
|---|---|---|
| Shard overlap | Persentase token yang muncul di lebih dari satu shard | 8 sampai 14 persen |
| Semantic similarity | Cosine similarity rata-rata antar shard | 0,72 ke atas |
| Contradiction rate | Persentase klaim yang bertabrakan antar shard | Di bawah 4 persen |
| Coherence score | Komposit dari tiga metrik di atas | 0,80 ke atas |
Untuk menghitung shard overlap, hitung token yang muncul di minimal dua shard dibagi total token unik. Untuk semantic similarity, pakai model embedding seperti text-embedding-3-small dari OpenAI atau model embedding yang setara dari dokumentasi resmi penyedia.
Kenapa Penting?
Untuk pipeline RAG yang saya bangun di Vetmo dan Atmo LMS sepanjang Q1 2026, shard coherence di bawah 0,7 menyebabkan asisten memberi jawaban yang bertabrakan antar sesi yang sama. Praktik yang saya pakai: target shard overlap 8 sampai 14 persen dan semantic similarity di atas 0,72, hasilnya determinisme sesi naik dari 0,82 ke 0,94 dalam 28 hari.
Bagi marketer dan publisher yang memakai RAG untuk konten dinamis, shard coherence yang rendah berarti AI Search akan memberikan jawaban yang tidak konsisten saat dipanggil ulang. Ini berbahaya bagi sitasi karena mesin AI cenderung meng-evict konten yang dianggap tidak stabil melalui LLM citation decay.
Pertanyaan Umum
Apakah shard coherence sama dengan determinisme sesi?
Tidak. Determinisme sesi adalah konsistensi output antar pemanggilan, sedangkan shard coherence adalah konsistensi antar potongan konteks dalam satu pemanggilan. Coherence yang baik adalah prasyarat determinisme.
Berapa banyak shard yang ideal per dokumen?
Untuk dokumen 8.000 sampai 16.000 token, optimal di 4 sampai 6 shard dengan overlap 10 persen. Lebih banyak shard menurunkan coherence, lebih sedikit menyia-nyiakan parallelism.
Istilah Terkait