Digital Transformation
Agent Tool Replay Budget
TL;DR: Agent Tool Replay Budget adalah anggaran jumlah pemutaran ulang tool call yang diizinkan dalam satu sesi agent. Tujuannya membatasi biaya inferensi sekaligus menjaga determinisme jawaban. Sweet spot operasional umumnya 2 sampai 4 replay per sesi, tergantung volatilitas data sumber.
Apa itu Agent Tool Replay Budget?
Agent Tool Replay Budget adalah pagar anggaran yang menentukan berapa kali sebuah tool call boleh diputar ulang dalam satu sesi agent sebelum sistem berhenti mencoba dan memunculkan fallback. Konsep ini melengkapi Agent Tool Replay Window yang mengatur durasi, sementara budget mengatur jumlah.
Analoginya seperti jatah retry pada call center. Tanpa batas eksplisit, sesi yang gagal bisa terus memanggil ulang database atau LLM, membakar biaya tanpa hasil. Dengan budget, tim engineering menetapkan plafon jelas yang dapat dipantau di observability.
Cara Kerja
| Komponen | Fungsi |
|---|---|
| Counter per session | Mencatat jumlah replay per tool call |
| Threshold | Batas maksimum, umumnya 2 sampai 4 |
| Decision policy | Setelah threshold tercapai, sistem memutuskan fallback atau eskalasi |
| Telemetry | Mengirim metrik ke observability untuk audit biaya |
Praktik standar memasangkan budget dengan Agent Tool Timeout Budget dan Agent Tool Retry Budget supaya tiga dimensi (jumlah replay, durasi tunggu, jumlah retry) saling melengkapi.
Kenapa Penting?
Untuk marketer Indonesia yang menjalankan asisten AI untuk lead capture atau konsultasi, replay budget mencegah eskalasi biaya tak terduga. Berdasarkan praktik Vito Atmo di asisten Atmo LMS sejak Maret 2026, penerapan budget 3 replay per sesi memangkas biaya inferensi sekitar 28 sampai 34 persen tanpa menurunkan completion rate modul.
Pertanyaan Umum
Apa beda Replay Budget dan Retry Budget?
Replay Budget membatasi jumlah pemutaran ulang tool call yang sudah pernah dipanggil dengan input sama (untuk konsistensi jawaban). Retry Budget membatasi jumlah percobaan ulang akibat kegagalan (timeout, error 5xx).
Berapa angka aman untuk pemula?
Mulai dari 2 sampai 3 replay per sesi, lalu kalibrasi berdasarkan rasio sesi gagal di observability.