Digital Transformation
Agent Tool Retry Policy Budget
TL;DR: Agent Tool Retry Policy Budget adalah pagar yang menentukan berapa banyak retry yang boleh dilakukan agen AI saat satu pemanggilan tool gagal. Praktik sehat di 2026: maksimum 2 sampai 3 retry per tool call dengan exponential backoff. Tanpa budget eksplisit, agen rentan cascading retry yang menggandakan biaya inferensi dan menghabiskan p95 latency.
Apa itu Agent Tool Retry Policy Budget?
Agent Tool Retry Policy Budget adalah aturan eksplisit di runtime agen AI yang menetapkan jumlah retry maksimum per pemanggilan tool. Tanpa budget ini, agen akan mengulang panggilan setiap kali ada timeout atau error, sehingga menyebabkan cascading retry. Untuk konteks lebih luas lihat agent tool budget dan agent tool retry budget.
Berbeda dari retry policy aplikasi tradisional, budget di sini bukan hanya menghitung jumlah percobaan. Budget juga menetapkan jeda antar percobaan (exponential backoff), kapan menyerah dan fallback ke jalur degraded, serta apakah hasil retry sebelumnya boleh digunakan sebagai konteks.
Komponen Utama
| Komponen | Aturan praktis 2026 |
|---|---|
| Jumlah retry per tool call | 2 sampai 3 kali |
| Initial backoff | 250 ms sampai 1 detik |
| Multiplier backoff | 2x sampai 3x |
| Jitter | 10 sampai 30 persen dari backoff |
| Fallback path | Wajib didefinisikan saat retry habis |
Kenapa Penting?
Dalam observasi Vito Atmo pada implementasi asisten booking Vetmo selama April 2026, ketika retry policy tidak dibatasi, p95 latency melonjak dari 1,1 detik ke 3,8 detik saat trafik naik 3x. Setelah retry policy budget ditetapkan ke 2 retry per tool call dengan jitter 20 persen, p95 stabil di bawah 1,3 detik meski trafik tetap tinggi. Pola serupa diuji di asisten coaching Ryandi Pratama dengan hasil yang konsisten.
Untuk marketer dan pemilik bisnis yang mengandalkan agen AI di funnel konversi, budget yang ketat berarti biaya inferensi predictable dan UX tidak mendadak rusak saat ada gangguan upstream. Rujuk agent tool saturation budget untuk mengatur pasangan retry plus saturation.
Pertanyaan Umum
Berapa retry yang ideal?
Untuk tool dengan latency di bawah 500 ms, 2 retry sudah cukup. Untuk tool dengan latency lebih tinggi atau dependency eksternal, 3 retry maksimum.
Apa beda retry policy budget dengan circuit breaker?
Retry policy budget mengatur per pemanggilan, sementara agent tool circuit breaker memutus sementara semua pemanggilan saat error rate melewati ambang.
Istilah Terkait