Agent Tool Saturation Budget

TL;DR: Agent Tool Saturation Budget adalah ambang batas jumlah panggilan tool yang sedang menunggu di queue agent sebelum sistem mulai menolak request baru. Tujuannya menjaga p95 latency tetap stabil saat trafik melonjak. Range praktis di proyek Indonesia: 4-8 panggilan per worker.

Apa itu Agent Tool Saturation Budget?

Saat asisten AI menerima banyak permintaan paralel, queue tool calls bisa membengkak. Tanpa batas, latency naik eksponensial dan user mengalami timeout. Saturation budget memberi batas keras: jika queue sudah penuh, request baru ditolak cepat dengan pesan eksplisit, bukan dibiarkan menunggu tak menentu.

Konsep ini mirip dengan LLM Context Eviction Policy, tapi fokusnya pada queue tool calls, bukan token konteks.

Cara Kerja

Kenapa Penting?

Tanpa saturation budget, satu lonjakan trafik bisa menjatuhkan seluruh pipeline agent. Dalam praktik proyek Vetmo dan Atmo LMS, pemasangan saturation budget 6 panggilan per worker menahan p95 latency di bawah 1,2 detik saat trafik naik 3 kali lipat. Tanpa budget, p95 melonjak ke 8 detik dan 22 persen sesi gagal.

Untuk marketer Indonesia yang menjalankan asisten booking atau konsultasi, ini bukan optimasi mewah. Ini syarat agar funnel konversi tidak bocor di jam sibuk. Lihat juga Agent Tool Budget untuk konsep pembatasan per sesi.

Pertanyaan Umum

Berapa angka ideal saturation budget?

Tergantung profil tool. Untuk tool LLM call yang lambat (300-800 ms), 4-6 panggilan per worker realistis. Untuk tool DB query cepat, bisa 10-20.

Apa bedanya dengan rate limiting?

Rate limiting membatasi request per unit waktu (mis. 100 req/menit). Saturation budget membatasi jumlah panggilan yang sedang aktif. Keduanya saling melengkapi, bukan substitusi.