Digital Transformation
Agent Tool Retry Policy
TL;DR: Agent tool retry policy adalah aturan formal yang menentukan kapan agen AI boleh mencoba ulang panggilan tool yang gagal, berapa banyak percobaan, dan jeda antar percobaan. Tanpa policy yang jelas, agen meretry liar dan membakar kuota API. Policy yang baik memakai exponential backoff dengan jitter, batas 2-3 percobaan, dan klasifikasi error yang spesifik.
Apa itu Agent Tool Retry Policy?
Retry policy adalah aturan operasional yang dipasang di lapisan orchestrator agen, bukan di prompt LLM. Policy ini memutuskan apakah error tertentu, misal HTTP 429 atau timeout, layak diulang atau langsung dilempar ke fallback chain. Tanpa retry policy, dua hal terjadi: agen meretry tak terbatas sampai quota saturation, atau langsung gagal pada error sementara yang sebenarnya pulih dalam 200 ms.
Analogi sederhana: retry policy adalah aturan ketuk pintu. Kalau tidak dibuka setelah ketukan pertama, tunggu 1 detik, lalu 2 detik, lalu 4 detik. Setelah tiga ketukan, pindah ke pintu lain atau pulang.
Komponen Retry Policy yang Baik
| Komponen | Nilai Praktis | Catatan |
|---|---|---|
| Max attempts | 2-3 percobaan | Lebih dari 3 jarang menambah peluang sukses |
| Backoff | Exponential dengan jitter (200 ms, 500 ms, 1,2 detik) | Jitter cegah thundering herd |
| Retryable errors | 408, 429, 500, 502, 503, 504, timeout | Jangan retry 400, 401, 403, 404 |
| Idempotency | Wajib pakai idempotency key | Cegah aksi ganda saat retry |
| Circuit breaker | Cut off setelah 5 gagal berturut | Pasangkan dengan circuit breaker |
Library yang sering dipakai per April 2026 adalah tenacity (Python), p-retry (Node), dan retry hook bawaan Vercel AI SDK.
Kenapa Penting?
Dalam pengalaman saya menangani asisten konsultasi untuk klien Aris Setiawan dan Ade Mulyana, retry policy yang longgar adalah penyebab nomor satu blowup biaya inferensi. Satu sesi yang seharusnya makan 12 panggilan tool bisa membengkak ke 47 panggilan karena agen meretry tiap timeout 30 detik sampai habis budget. Policy ketat dengan max 2 retry dan exponential backoff biasanya memangkas biaya 25 sampai 35 persen tanpa menurunkan task completion rate.
Dokumentasi tambahan ada di Google Cloud retry strategy yang masih jadi rujukan industri.
Pertanyaan Umum
Berapa max attempts yang ideal untuk agen produksi?
2 sampai 3 percobaan. Riset internal beberapa vendor LLM menunjukkan peluang sukses setelah percobaan ketiga turun di bawah 5 persen, sementara biaya ikut naik linier.
Apa bedanya retry policy dengan circuit breaker?
Retry policy mengatur satu siklus panggilan, sementara circuit breaker memutus seluruh aliran ke tool tertentu setelah serangkaian kegagalan beruntun.
Istilah Terkait