Digital Transformation
Agent Tool Jitter Budget
TL;DR: Agent Tool Jitter Budget adalah anggaran toleransi variasi waktu eksekusi tool dalam satu sesi agent, dinyatakan dalam milidetik p95 di atas baseline. Range sehat di pipeline produksi: 120 sampai 240 ms. Lebih dari itu, agent mulai memicu retry kaskade dan biaya inferensi membengkak 30-50 persen.
Apa itu Agent Tool Jitter Budget?
Agent Tool Jitter Budget adalah pagar pengaman yang memberi tahu agent: "selama selisih waktu eksekusi tool kamu masih di dalam X milidetik, jangan panik, tunggu saja". Konsep ini melengkapi Agent Tool Backpressure Window yang fokus pada antrian, sementara jitter budget fokus pada variasi durasi per panggilan.
Analoginya: jadwal kereta. Jitter budget adalah toleransi keterlambatan yang masih dianggap normal, misal 3 menit. Lewat dari itu, sistem informasi penumpang baru menampilkan status terlambat.
Cara Hitung dan Range Praktis
Formula sederhana: jitter_budget_ms = p95_baseline_ms * faktor_toleransi. Faktor toleransi yang dipakai di proyek Vito Atmo biasanya 1,4 sampai 1,8.
| Jitter Budget p95 | Interpretasi | Risiko |
|---|---|---|
| Di bawah 80 ms | Terlalu ketat, retry kaskade sering | Biaya inferensi naik 30-50 persen |
| 120 sampai 240 ms | Range sehat untuk tool transaksional | Sesi stabil, fallback jarang aktif |
| 240 sampai 400 ms | Longgar untuk tool informasional | Aman, tapi UX terasa lag di chat |
| Di atas 400 ms | Terlalu longgar | Sesi gagal terdeteksi terlambat |
Cara verifikasi: log Agent Tool Handoff Latency per panggilan, hitung standar deviasi 1.000 sesi terakhir, bandingkan dengan p95 baseline.
Kenapa Penting?
Tanpa jitter budget, agent yang memakai tool eksternal seperti API booking atau lookup database akan memicu Agent Tool Circuit Breaker Window terlalu cepat saat ada latency spike sementara. Praktik standar di Next.js Supabase yang dipakai di proyek Vito Atmo: set jitter budget di 1,5 kali p95 baseline, evaluasi mingguan. Pendekatan ini biasanya menstabilkan biaya inferensi di range 5-8 juta per bulan untuk asisten dengan 8-12 ribu sesi.
Pertanyaan Umum
Apakah jitter budget sama dengan timeout?
Tidak. Timeout adalah batas keras yang membatalkan panggilan, sementara jitter budget adalah toleransi variasi yang memungkinkan agent tetap menunggu tanpa retry.
Berapa rasio jitter budget terhadap baseline yang aman?
Rasio 1,4 sampai 1,8 dari p95 baseline dipakai di pipeline produksi sebagai sweet spot antara stabilitas dan responsivitas.
Istilah Terkait