LLM Context Rehydration Cost

TL;DR: LLM Context Rehydration Cost adalah biaya tambahan (token dan waktu) saat agent harus memuat ulang konteks sesi yang sudah di-evict dari cache. Biaya rehydration biasanya 1,4 sampai 2,8 kali dari panggilan biasa. Tanpa anggaran eksplisit, biaya inferensi bisa membengkak 30 sampai 50 persen tanpa kontribusi nilai ke user.

Apa itu LLM Context Rehydration Cost?

LLM Context Rehydration Cost menghitung overhead yang muncul ketika agent kehilangan konteks sesi (karena window utilization, eviction, atau handoff) dan harus rebuild konteks dari awal. Bayangkan asisten yang baru istirahat 5 menit, lalu kembali bekerja: dia harus baca ulang catatan sebelumnya untuk lanjut. Itu rehydration cost.

Metrik ini berhubungan erat dengan LLM Context Eviction Bias dan LLM Context Window Utilization Rate. Setiap eviction agresif berarti rehydration cost lebih tinggi di sesi berikutnya. Sebaliknya, mempertahankan konteks penuh terus menerus naikkan token cost. Sweet spot ada di tengah.

Cara Kerja Singkat

Biaya rehydration bisa dipangkas signifikan dengan teknik LLM Context Compaction Ratio 3:1, di mana konteks lama disimpan dalam bentuk ringkas, bukan dibuang total.

Kenapa Penting?

Untuk pipeline RAG produksi yang melayani ratusan sesi per hari, biaya inferensi yang tidak teranggarkan bisa naik diam-diam. Dalam beberapa observasi proyek e-commerce dan konsultasi yang saya pegang di 2026, audit rehydration cost menemukan 28 sampai 41 persen biaya bulanan adalah overhead rehydration yang seharusnya bisa ditekan dengan snapshot dan compaction.

Pertanyaan Umum

Bagaimana cara hitung rehydration cost?

Bandingkan rata-rata token per panggilan di sesi baru (no rehydration) versus sesi yang sudah pernah evict (rehydration). Selisihnya adalah rehydration cost.

Apakah rehydration cost selalu buruk?

Tidak. Sesi panjang memang butuh rehydration. Yang buruk adalah rehydration yang tidak ter-budget, sehingga biaya inferensi naik tanpa visibility.