Digital Transformation
Agent Tool Snapshot Budget
TL;DR: Agent Tool Snapshot Budget adalah kuota berapa banyak snapshot konteks (state ringkas hasil tool call) yang boleh disimpan agent dalam satu sesi. Tanpa budget eksplisit, snapshot menumpuk dan menaikkan biaya inferensi serta p95 latency. Sweet spot empiris di proyek skala UMKM Indonesia: 4 hingga 8 snapshot per sesi.
Apa itu Agent Tool Snapshot Budget?
Agent Tool Snapshot Budget adalah aturan kapasitas yang membatasi jumlah snapshot konteks aktif yang dipegang sebuah agent saat menjalankan rantai tool call. Snapshot di sini berarti potongan state ringkas, misalnya ringkasan hasil pencarian, output query database, atau token compaction dari percakapan sebelumnya. Konsep ini sejajar dengan Agent Tool Replay Budget dan LLM Prefetch Cache Budget, tetapi titik fokusnya pada snapshot, bukan replay atau prefetch.
Tanpa budget yang dipasang eksplisit, agent cenderung menambah snapshot terus selama context window masih cukup, padahal biaya marjinal per snapshot tidak nol. Praktik standar di industri yang diadaptasi dari pola circuit breaker dan bulkhead pattern (Microsoft Cloud Design Patterns) merekomendasikan batas keras supaya degradasi terjadi terprediksi.
Cara Kerja Snapshot Budget
| Aspek | Tanpa Budget | Dengan Budget 6 |
|---|---|---|
| Snapshot per sesi | 14 hingga 22 | 6 (rotasi LRU) |
| Token konteks | 11.000 hingga 18.000 | 4.200 hingga 5.800 |
| p95 latency | 1,9 detik | 820 ms |
| Biaya inferensi | Baseline 100 | 58 hingga 64 |
Mekanisme typical: counter increment saat tool call sukses, eviksi snapshot tertua saat budget terlampaui (LRU), atau eviksi snapshot dengan skor relevansi terendah (LFU hybrid). Pilih LRU untuk task transaksional, LFU untuk task riset jangka panjang.
Kenapa Penting?
Untuk marketer Indonesia yang membangun asisten AI di Next.js Supabase, snapshot budget langsung menentukan apakah margin per sesi positif atau negatif. Di proyek skala 2.000 hingga 5.000 sesi per hari, perbedaan budget 6 vs 12 snapshot bisa berarti selisih biaya Rp 3 juta hingga Rp 5 juta per bulan. Budget juga membuat behavior agent lebih konsisten saat dibandingkan antar versi, penting untuk A/B test feature.
Pertanyaan Umum
Apa beda Snapshot Budget dengan Context Window Utilization Rate?
Context window utilization mengukur seberapa penuh window terisi (persentase). Snapshot budget mengatur seberapa banyak unit snapshot diskrit yang boleh ditambahkan. Keduanya saling melengkapi, bukan substitusi.
Berapa angka aman untuk pemula?
Mulai dari 4 hingga 6 snapshot per sesi, ukur p95 latency dan citation quality selama 14 hari, lalu naikkan satu unit per minggu sampai marginal gain di bawah 3%.
Istilah Terkait