Digital Transformation
Agent Tool Cancellation Budget
TL;DR: Agent Tool Cancellation Budget adalah alokasi jumlah maksimum panggilan tool yang boleh dibatalkan secara graceful per sesi agent sebelum trigger circuit breaker. Budget ini penting untuk asisten yang menjalankan tool transaksional, mencegah cascading retry yang menghabiskan kuota inferensi. Praktik sehat 2026: 2 hingga 3 cancellation per sesi untuk tool kritis.
Apa itu Agent Tool Cancellation Budget?
Agent Tool Cancellation Budget membatasi seberapa sering agent boleh membatalkan eksekusi tool di tengah jalan, baik karena timeout, sinyal stop dari user, atau policy guard. Beda dengan Agent Tool Replay Budget yang mengatur jumlah retry setelah failure, cancellation budget mengatur seberapa sering agent diam-diam menghentikan tool yang sedang berjalan.
Analoginya seperti tombol cancel di aplikasi pembayaran. Pengguna boleh batal beberapa kali, tapi setelah ambang tertentu sistem akan memaksa cooling period.
Cara Kerja
Implementasi standar pakai tiga state:
| State | Aksi | Threshold |
|---|---|---|
| Healthy | Cancel diizinkan, log saja | < 50% budget |
| Warning | Cancel diizinkan + notifikasi internal | 50-80% budget |
| Saturated | Cancel ditolak, trigger Agent Tool Circuit Breaker Window | > 80% budget |
Setiap cancellation di-tracking di session state. Reset budget pada batas sesi baru atau setelah cooling period. Praktik di proyek Vito Atmo menunjukkan budget 2 cancellation per 12 menit sesi menghasilkan keseimbangan UX dan stabilitas.
Kenapa Penting?
Tiga alasan budget ini kritis untuk produksi:
Pertama, cancellation berulang sering menjadi sinyal sesi gagal yang tidak terdeteksi, budget memberi telemetry awal untuk diagnosis. Kedua, tool transaksional (pembayaran, booking) bisa korup state jika cancel berulang tanpa proper rollback, budget memaksa fallback ke Agent Tool Degradation Policy. Ketiga, biaya inferensi proporsional dengan eksekusi, cancellation boros tanpa pelajaran untuk model.
Pertanyaan Umum
Apakah Cancellation Budget sama dengan Retry Budget?
Tidak. Retry Budget mengatur eksekusi ulang setelah failure (forward retry), Cancellation Budget mengatur penghentian sebelum tool selesai. Keduanya counter yang berbeda.
Apa yang terjadi setelah budget habis?
Sistem masuk state saturated, trigger circuit breaker, dan tool calls baru otomatis fallback ke degradation policy sampai cooling period selesai. Praktik standar: cooling 90 hingga 120 detik.
Istilah Terkait