Digital Transformation
Agent Tool Deadline Budget
TL;DR: Agent Tool Deadline Budget adalah anggaran waktu absolut, biasanya 400 sampai 1.200 ms, yang diberikan kepada satu tool agent untuk menyelesaikan eksekusi. Berbeda dengan timeout per panggilan, deadline budget berlaku end-to-end termasuk retry.
Apa itu Agent Tool Deadline Budget?
Agent Tool Deadline Budget adalah pagar waktu total yang harus dipenuhi sebuah tool agent sejak mulai dipanggil sampai memberi respons final, termasuk semua percobaan ulang dan fallback. Berbeda dengan Agent Tool Timeout Budget yang membatasi satu percobaan, deadline mengikat seluruh siklus.
Analoginya seperti deadline tugas kuliah. Anda boleh revisi tiga kali atau lima kali, tapi tetap harus diserahkan sebelum jam 23.59.
Komponen Deadline Budget
| Komponen | Definisi |
|---|---|
| Hard Deadline | Batas waktu absolut, lewat ini langsung gugur |
| Soft Deadline | Sinyal peringatan, biasanya 70 persen hard deadline |
| Retry Reserve | Cadangan waktu untuk retry, 20 sampai 30 persen budget |
| Fallback Window | Sisa waktu untuk Agent Tool Fallback Budget |
Di pipeline Vito Atmo, asisten LMS Atmo memakai hard deadline 1.000 ms dengan soft deadline 700 ms untuk tool kurikulum yang interaktif.
Kenapa Penting?
Tanpa deadline budget, satu tool yang lambat bisa menggandakan p95 latency seluruh sesi agent. Dampaknya terasa langsung di Agent Tool Retry Budget yang ikut terbakar.
Praktik ini sejajar dengan rekomendasi Google SRE Book bab Handling Overload yang menekankan deadline propagation lintas layanan.
Pertanyaan Umum
Apakah deadline budget mencakup waktu antrian?
Iya. Deadline dihitung dari saat tool masuk antrian, bukan dari saat eksekusi dimulai.
Bagaimana kalau deadline terlewat di tengah retry?
Sistem harus abort dan langsung lompat ke fallback chain tanpa mencoba retry tambahan.