Digital Transformation
Agent Tool Fallback Budget
TL;DR: Agent Tool Fallback Budget membatasi berapa kali agent boleh memanggil tool alternatif setelah tool utama gagal dalam satu task. Sweet spot praktis 1 sampai 3 fallback per task untuk operasi non-kritis dan 2 sampai 4 fallback untuk task kritis seperti checkout, sebelum agent menyerah dan eskalasi ke manusia.
Apa itu Agent Tool Fallback Budget?
Agent Tool Fallback Budget adalah batas atas jumlah pemanggilan tool cadangan yang diizinkan dalam satu siklus task AI agent. Konsep ini berkerabat dekat dengan Agent Tool Retry Budget, namun fokusnya bukan pada percobaan ulang ke tool yang sama, melainkan pada perpindahan ke tool alternatif. Misalnya, jika API stok produk utama gagal, agent boleh mencoba mirror API atau cache snapshot, namun tidak boleh terus berpindah tanpa batas.
Tanpa budget yang jelas, agent rentan masuk fallback loop yang membakar token dan latensi. Praktik standar di industri menyebut batas 1 sampai 3 fallback per task cukup untuk menjaga biaya tetap rasional.
Cara Menetapkan Budget
| Tipe Task | Budget Fallback | Behavior Akhir |
|---|---|---|
| Read-only (cek stok, harga) | 1-2 | Tampilkan hasil cache atau pesan error |
| Action ringan (kirim notifikasi) | 1-3 | Tunda dan masuk antrian retry async |
| Action kritis (pembayaran, booking) | 2-4 | Eskalasi ke manusia atau dashboard ops |
Tetapkan juga timeout per fallback, umumnya 1,5 sampai 3 detik agar agent tidak menahan koneksi terlalu lama. Detail praktik dapat dibaca di MDN Web Docs tentang strategi fetch dan timeout.
Kenapa Penting?
Untuk bisnis Indonesia yang mulai memakai AI agent di asisten pelanggan atau internal ops, fallback budget yang terlalu longgar menyebabkan biaya inferensi membengkak. Sebaliknya, budget yang terlalu ketat membuat tingkat task completion rendah. Sweet spot yang baik menjaga rasio biaya per task tetap di bawah ambang ROI yang ditetapkan operasional.
Pertanyaan Umum
Apakah fallback budget sama dengan retry budget?
Tidak. Retry budget mengulang panggilan ke tool yang sama dengan backoff. Fallback budget berpindah ke tool alternatif setelah tool utama dianggap tidak available.
Berapa fallback budget yang ideal untuk asisten layanan pelanggan?
Umumnya 2 sampai 3 fallback per task. Setelah itu, eskalasi ke human agent biasanya menghasilkan kepuasan pelanggan lebih tinggi daripada terus mencoba.
Istilah Terkait