Digital Transformation
LLM Context Rotation Budget
TL;DR: LLM Context Rotation Budget adalah alokasi jumlah maksimum konteks lama yang boleh dirotasi keluar dari window LLM per satu siklus inferensi, biasanya dinyatakan dalam persen. Budget yang terlalu agresif menyebabkan fact drift, terlalu konservatif memboroskan token. Praktik sehat 2026: 15 hingga 22 persen rotasi per siklus untuk sesi agent dengan turn count di atas 20.
Apa itu LLM Context Rotation Budget?
LLM Context Rotation Budget mengatur seberapa banyak token konteks lama boleh dibuang dan diganti dengan konteks baru di setiap turn inferensi. Berbeda dengan LLM Context Eviction Bias yang mengatur prioritas eviction, rotation budget hanya membatasi kuantitas. Mirip pergantian pemain di pertandingan sepak bola, ada kuota wajib supaya pemain inti tidak overstayed di lapangan.
Tanpa budget, pipeline rentan dua failure mode: konteks awal sesi (instruksi sistem, identitas user) ter-evict diam-diam, atau konteks lama menumpuk sampai window habis.
Cara Kerja
Pipeline RAG biasanya menerapkan rotation di tiga lapis:
| Lapis | Fungsi | Budget Tipikal |
|---|---|---|
| Sliding window | Buang token tertua, FIFO | 25-40% per siklus |
| Importance-weighted | Skor relevansi tiap chunk, eviction by score | 10-15% per siklus |
| Pinned context | Konteks wajib (system prompt, identity) | 0% (tidak boleh dirotasi) |
Lapis pinned harus dilindungi pakai LLM Context Pinning Budget supaya tidak ikut terbuang. Praktik standar di proyek Vito Atmo, kombinasi importance-weighted plus pinning memberi stabilitas yang baik untuk sesi panjang.
Kenapa Penting?
Tiga alasan rotation budget kritis untuk pipeline agent Indonesia:
Pertama, sesi customer service yang panjang (booking, transaksi multi-step) butuh konteks instruksi awal tetap utuh, rotation budget mencegah eviction tidak sengaja. Kedua, biaya inferensi proporsional dengan total token, budget yang tepat menjaga utilization rate optimal tanpa membuang konteks bernilai. Ketiga, kombinasikan dengan LLM Context Compaction Ratio untuk memadatkan konteks lama sebelum dirotasi, supaya informasi penting tetap retain.
Pertanyaan Umum
Apa beda Rotation Budget dengan Eviction Bias?
Rotation Budget membatasi kuantitas (berapa persen token boleh keluar), Eviction Bias menentukan kualitas (token mana yang prioritas keluar). Keduanya saling melengkapi.
Berapa rotation budget yang ideal untuk asisten booking?
Praktik di klien Atmo LMS menunjukkan rotation budget 18 persen per siklus dengan pinning untuk system prompt menghasilkan determinisme sesi yang stabil. Angka ini perlu disesuaikan per use case dan ukuran konteks.
Istilah Terkait