Digital Transformation
Context Rot (Pelapukan Konteks Model AI)
Context rot adalah penurunan akurasi model AI ketika konteks yang dimasukkan terlalu panjang, berisik, atau penuh informasi tidak relevan, sehingga jawaban jadi kabur atau melenceng.
TL;DR: Context rot adalah fenomena saat akurasi model AI menurun karena konteks yang diberi terlalu panjang, terlalu padat, atau berisi informasi tidak relevan. Bertentangan dengan asumsi populer bahwa "lebih banyak konteks selalu lebih baik", konteks panjang dapat membingungkan model dan menurunkan kualitas jawaban. Pemahaman ini menentukan cara brand Indonesia merancang prompt dan pipeline RAG di 2026.
Apa itu Context Rot?
Context rot terjadi ketika model AI diberi terlalu banyak materi sekaligus dan justru kehilangan fokus pada bagian yang relevan. Riset publik termasuk benchmark NIAH (Needle in a Haystack) menunjukkan bahwa banyak model mengalami penurunan akurasi tajam saat informasi penting berada di tengah konteks panjang, atau saat konteks dipenuhi dokumen mirip tapi tidak persis tepat.
Analogi sederhana: seperti memberi seseorang sepuluh dokumen tebal dan menyuruh menjawab satu pertanyaan singkat. Secara logika, semua jawaban ada di sana, tapi probabilitas dia menjawab dengan tepat justru turun karena harus menyaring banyak distraksi terlebih dahulu.
Tanda dan Penyebab Context Rot
| Tanda | Penyebab umum |
|---|---|
| Jawaban benar di awal, melenceng saat dokumen ditambah | Konteks melebihi sweet spot model |
| Halusinasi muncul untuk pertanyaan sederhana | Konteks terlalu padat tanpa re-ranking |
| Inkonsistensi antar-percobaan dengan input mirip | Posisi informasi penting bergeser di tengah |
| Latency naik tanpa peningkatan akurasi | Token budget terbuang untuk konten tidak relevan |
Mitigasi yang dipakai praktisi mencakup chunk size yang tepat, metadata filtering sebelum retrieval, dan context compression untuk membuang noise.
Kenapa Penting untuk Brand Indonesia?
Banyak tim Indonesia yang baru pakai long-context window cenderung memasukkan seluruh dokumen ke prompt karena dianggap "model bisa baca semua". Hasilnya, biaya inferensi naik tajam tapi akurasi malah turun. Memahami context rot membantu marketer dan developer memutuskan kapan harus pakai konteks panjang langsung dan kapan harus tetap pakai pola RAG dengan retrieval yang ketat.
Pertanyaan Umum
Apakah model dengan jendela konteks 1 juta token bebas dari context rot?
Tidak. Kapasitas konteks dan kualitas penggunaan konteks adalah dua hal berbeda. Banyak model long-context tetap mengalami degradasi akurasi pada lokasi tengah konteks.
Bagaimana cara mendeteksi context rot di sistem yang sudah berjalan?
Bandingkan akurasi sistem RAG dengan dan tanpa filter top-N ketat. Jika akurasi meningkat saat konteks dipersempit, sistem kemungkinan mengalami context rot saat dokumen banyak.
Istilah Terkait