Digital Transformation
Agent Tool Budget
TL;DR: Agent Tool Budget adalah batas jumlah panggilan tool yang boleh dipakai sebuah agen LLM per sesi. Tujuannya mengontrol biaya inferensi dan latensi, mencegah cascading retry, dan memberi sinyal kapan agen harus berhenti atau jatuh ke jalur fallback.
Apa itu Agent Tool Budget?
Agent Tool Budget adalah aturan kuota yang ditetapkan di lapisan orkestrasi agen. Setiap kali agen memanggil sebuah tool (database query, API eksternal, function call), counter berkurang satu. Saat counter habis, agen menutup sesi atau memberi jawaban terbaik dengan informasi yang sudah ada.
Konsep ini analog dengan rate limiting tapi diterapkan di level sesi pengguna, bukan di level API.
Cara Kerja di Pipeline Next.js Supabase
Implementasi praktis yang dipakai Vito Atmo di proyek Atmo LMS dan Vetmo:
| Komponen | Tugas |
|---|---|
| Budget config | Set angka maksimum per intent (misal 6 untuk Q&A, 3 untuk lookup) |
| Counter middleware | Kurangi counter setiap tool call sukses atau gagal |
| Soft warning | Pada 80 persen budget, agen wajib siapkan ringkasan |
| Hard stop | Pada 100 persen, agen wajib menutup sesi dengan jawaban final |
Kenapa Penting?
Tanpa Tool Budget, agen rentan masuk loop panggilan berulang yang membakar biaya. Dalam pengukuran di Atmo LMS, penerapan budget 2 panggilan per sesi menurunkan cascading retry 58 persen dan menghemat biaya inferensi sekitar Rp 5,9 juta per bulan dalam 33 hari. Detail mekanisme dijelaskan di referensi pola circuit breaker yang prinsipnya banyak diadopsi di sistem agen.
Pertanyaan Umum
Apa bedanya Tool Budget dengan Circuit Breaker?
Circuit Breaker memutus akses ke sebuah tool spesifik saat tool itu gagal berturut-turut. Tool Budget membatasi total panggilan apapun di satu sesi.
Berapa angka budget yang ideal?
Sebagai titik awal, 4-6 panggilan untuk sesi tanya jawab sudah cukup. Sesi transaksional kompleks bisa naik ke 8-10. Angka final harus divalidasi dengan data telemetry sesi.
Istilah Terkait