Agent Tool Circuit Budget

TL;DR: Agent Tool Circuit Budget adalah anggaran maksimal kegagalan pemanggilan tool oleh AI agent dalam satu jendela waktu (umumnya 30 sampai 120 detik). Jika anggaran habis, circuit breaker terbuka dan memblokir panggilan baru selama cooling period, agar tidak membebani backend yang sedang bermasalah.

Apa itu Agent Tool Circuit Budget?

Agent Tool Circuit Budget adalah konsep yang mengawinkan Agent Tool Circuit Breaker dengan Agent Tool Retry Budget. Bedanya, circuit budget tidak menghitung jumlah retry, tetapi total kegagalan unik (error 5xx, timeout, rate limit) dalam jendela rolling. Misal: 10 kegagalan dalam 60 detik membuka breaker selama 30 detik. Setelah cooling period, breaker masuk Agent Tool Half-Open State untuk uji sebelum normal kembali.

Anggap saja seperti circuit breaker listrik di rumah. Bukan sekadar putus sekali ketika ada lonjakan, tapi mencatat berapa kali lonjakan terjadi dalam menit terakhir lalu memutus permanen kalau pola masalah jelas.

Komponen Wajib

Dalam beberapa implementasi terakhir, Vito Atmo memakai window 60 detik dengan threshold 8 kegagalan untuk asisten LMS Atmo. Konfigurasi ini menjaga p95 latency di bawah 1,2 detik bahkan ketika satu vendor LLM mengalami insiden.

Kenapa Penting?

Tanpa circuit budget, agent akan terus retry ke backend yang sedang down dan memicu cascading failure. Untuk operasi B2B di Indonesia yang sering pakai LLM multi-vendor (OpenAI plus Anthropic plus Mistral), circuit budget memastikan satu vendor down tidak menjatuhkan seluruh produk. Best practice ini sejalan dengan dokumentasi resmi Microsoft Azure Architecture Center tentang pola resiliency.

Pertanyaan Umum

Bedanya dengan Retry Budget?

Retry Budget membatasi jumlah percobaan ulang per request, sementara Circuit Budget membatasi total kegagalan agregat sebelum jalur ditutup penuh.

Apakah cocok untuk single-tenant app?

Cocok, tapi window dan threshold harus disesuaikan. Single-tenant kecil cukup window 30 detik dan threshold 5 kegagalan.