Agent Tool Retry Budget

TL;DR: Agent Tool Retry Budget adalah batas maksimal jumlah percobaan ulang (retry) yang boleh dilakukan agen AI saat satu tool call gagal, sebelum agen menyerah dan eskalasi ke fallback atau pengguna. Sweet spot di produksi 2 sampai 4 retry per call. Di bawah 2 sering memutus task valid; di atas 5 membakar token dan latency tanpa kenaikan success rate berarti.

Apa itu Agent Tool Retry Budget?

Agen AI modern seperti Claude, GPT, dan Gemini menjalankan tugas dengan rangkaian tool call (cari, hitung, kirim). Saat satu call gagal karena timeout, rate limit, atau error transient, agen perlu memutuskan: ulangi atau menyerah. Retry budget adalah anggaran percobaan ulang yang sengaja dibatasi supaya agen tidak terjebak loop tak berujung saat tool memang down. Konsep ini melengkapi Agent Tool Invocation Latency dan Agent Tool Call Success Rate.

Cara Menentukan Budget

# Pseudo-config
retry_budget = {
  "search": 3,      # transient network errors lazim
  "database": 2,    # cepat fail, cepat fallback
  "payment": 1,     # idempoten, jangan double-charge
  "email": 4        # SMTP throttling sering recoverable
}

Kenapa Penting?

Tanpa retry budget, agen yang menemui API down bisa membakar 30 ribu token dalam satu loop sebelum menyerah. Dalam audit beberapa workflow asisten klien Vito Atmo, penambahan retry budget eksplisit memangkas biaya inferensi 25 sampai 40 persen tanpa menurunkan task completion rate. Studi industri dari AWS Builder Library tentang retry strategy menjelaskan logika exponential backoff dengan jitter yang juga relevan untuk agen AI.

Pertanyaan Umum

Apakah budget retry harus sama untuk semua tool?

Tidak. Tool dengan efek samping (write, payment) wajib budget rendah; tool read-only boleh lebih tinggi. Idempotensi tool menentukan toleransi retry.

Bagaimana hubungannya dengan exponential backoff?

Backoff mengatur jarak antar retry; budget mengatur jumlah maksimum. Keduanya saling melengkapi: backoff cegah hammering, budget cegah loop tak berujung.