Digital Transformation
LLM Context Compaction Window
TL;DR: LLM Context Compaction Window adalah jendela waktu, umumnya 90 sampai 240 detik, di mana pipeline RAG merangkum potongan konteks lama menjadi ringkasan padat sebelum dimasukkan kembali ke prompt LLM. Tujuannya menjaga token konteks tetap di bawah batas tanpa membuang sinyal penting.
Apa itu LLM Context Compaction Window?
LLM Context Compaction Window adalah interval pengamatan di mana sistem RAG memutuskan kapan menjalankan proses kompaksi konteks. Berbeda dengan LLM Context Compaction Ratio yang mengukur efektivitas hasil, window mengatur waktu eksekusi.
Analoginya seperti jadwal merapikan meja kerja: bukan setiap menit, juga bukan menunggu meja penuh sampai tidak bisa bekerja. Ada jendela optimal untuk merangkum tumpukan menjadi catatan ringkas.
Komponen Window
| Komponen | Definisi |
|---|---|
| Trigger Threshold | Persen utilisasi konteks yang memicu kompaksi, umumnya 70 persen |
| Window Duration | Lama jendela observasi, 90 sampai 240 detik |
| Summary Depth | Tingkat agresivitas peringkasan, biasanya 3:1 sampai 5:1 |
| Eviction Policy | Aturan potongan mana yang diringkas duluan, sering pakai LLM Context Eviction Bias |
Di pipeline Vito Atmo, window 180 detik dengan trigger 72 persen memberi hasil paling stabil untuk asisten konsultan pajak Ade Mulyana.
Kenapa Penting?
Window yang terlalu pendek menyebabkan kompaksi terlalu sering, menambah biaya inferensi. Window terlalu panjang menyebabkan LLM Context Window Utilization Rate melonjak ke 95 persen dan memicu truncation kasar.
Praktik yang dianjurkan OpenAI dalam panduan token management menekankan kompaksi proaktif sebelum konteks penuh.
Pertanyaan Umum
Apakah window ini sama untuk semua model LLM?
Tidak. Model dengan context window besar seperti Claude Sonnet bisa pakai window lebih panjang, model 8K token butuh window lebih pendek.
Bagaimana mengukur efektivitas window?
Pantau rasio token sebelum dan sesudah kompaksi, kombinasikan dengan tingkat kegagalan jawaban setelah kompaksi.
Istilah Terkait