Digital Transformation
Agent Tool Retry Budget Burnout
TL;DR: Agent Tool Retry Budget Burnout adalah kondisi saat alokasi retry untuk tool call di sebuah agent AI habis sebelum tugas pengguna selesai, sehingga sesi gagal diam-diam meski token tetap dibayar. Praktik standar menempatkan budget di 2 sampai 4 retry per tool, dengan circuit breaker yang memutus sesi sebelum biaya inferensi membengkak.
Apa itu Agent Tool Retry Budget Burnout?
Agent Tool Retry Budget Burnout terjadi ketika sebuah agent AI, misalnya asisten produk di Next.js, mencoba memanggil tool eksternal seperti pencarian katalog atau pembuatan invoice berulang kali sampai jatah retry yang dialokasikan habis. Setelah burnout, agent biasanya mengembalikan jawaban kosong, fallback generik, atau timeout, padahal pengguna sudah menunggu beberapa detik dan platform sudah membayar token untuk percobaan yang gagal. Pola ini mirip dengan Agent Tool Replay Budget yang membatasi pengulangan, tetapi fokusnya spesifik pada retry akibat error transien seperti rate limit, jitter jaringan, atau respon non-deterministik dari downstream service.
Cara Kerja Retry Budget
Retry budget bekerja seperti dompet kecil yang diberikan ke tiap tool call. Saat tool gagal, agent mengurangi saldo dompet, menunggu backoff singkat, lalu mencoba lagi. Burnout muncul saat saldo nol tetapi belum ada respon valid.
| Skenario | Retry budget | Risiko burnout |
|---|---|---|
| Tool stabil (search internal) | 1 sampai 2 | Rendah |
| Tool eksternal (API pihak ketiga) | 2 sampai 4 | Sedang |
| Tool dengan rate limit ketat | 3 sampai 5 plus jitter | Tinggi |
Praktik yang saya pakai di proyek client adalah menggabungkan retry budget dengan Agent Tool Backpressure Window supaya budget tidak terkuras hanya karena gelombang trafik pendek.
Kenapa Penting?
Tanpa kontrol retry budget, marketer dan developer Indonesia menanggung dua kerugian sekaligus: pengalaman pengguna yang patah pada sesi sibuk dan tagihan inferensi yang naik tanpa konversi. Dari beberapa audit yang saya jalankan untuk asisten katalog UKM, burnout yang tidak terpantau bisa menyumbang 18 sampai 32 persen dari total biaya token bulanan. Memasang circuit breaker dan logging burnout per sesi adalah langkah dasar yang membuat anggaran AI bisa diaudit, bukan sekadar diestimasi.
Pertanyaan Umum
Berapa retry budget yang ideal untuk asisten chat e-commerce?
Range yang umum dipakai adalah 2 sampai 4 retry per tool dengan exponential backoff. Untuk tool katalog internal cukup 2, untuk integrasi pembayaran sebaiknya 3 plus jitter.
Apa bedanya retry budget dengan timeout?
Timeout membatasi durasi satu percobaan, retry budget membatasi jumlah percobaan dalam satu sesi. Keduanya saling melengkapi, bukan menggantikan.
Istilah Terkait