Digital Transformation
Agent Tool Timeout Budget
TL;DR: Agent Tool Timeout Budget adalah batas waktu eksplisit per tool call dalam pipeline agent, biasanya antara 800 ms sampai 3 detik tergantung kelas tool. Tujuannya menjaga sesi tetap responsif: ketika anggaran habis, agent mengeksekusi fallback alih-alih menunggu tool yang macet.
Apa itu Agent Tool Timeout Budget?
Agent Tool Timeout Budget adalah angka konkret (dalam milidetik) yang menetapkan berapa lama satu tool call boleh berjalan sebelum agent menganggapnya gagal dan melanjutkan ke langkah lain. Konsep ini sering dipasangkan dengan Agent Tool Fallback Chain dan Agent Tool Retry Policy. Tanpa budget yang tegas, agent dapat mengunci sesi pengguna selama 20 sampai 60 detik ketika upstream lambat.
Cara Kerja
| Kelas Tool | Budget Praktis | Catatan |
|---|---|---|
| Lookup cache lokal | 100 sampai 300 ms | Wajib instan |
| Database query (Supabase RPC) | 400 sampai 900 ms | Index harus rapi |
| API third-party | 1.200 sampai 2.500 ms | Sertakan retry |
| LLM call sekunder | 2.500 sampai 4.000 ms | Streaming jika bisa |
Setiap budget perlu dibarengi handler fallback: balas dengan jawaban parsial, eskalasi ke manusia, atau gunakan cache stale.
Kenapa Penting?
Untuk pebisnis Indonesia yang membangun asisten AI di Next.js + Supabase, timeout budget langsung menentukan pengalaman pengguna dan biaya inferensi. Dari pola di proyek Felicia Tan (fashion) dan Aris Setiawan (konsultasi hukum), pemasangan budget 2,5 detik untuk API eksternal memangkas sesi gagal beruntun di kisaran 40 sampai 50 persen. Praktik ini selaras dengan rekomendasi OpenAI cookbook tentang timeouts yang menekankan circuit-breaker eksplisit.
Pertanyaan Umum
Apakah retry policy bisa menggantikan timeout budget?
Tidak. Retry mengulang tool yang gagal, sedangkan timeout budget memutus tool yang belum gagal tapi terlalu lama. Keduanya saling melengkapi.
Bagaimana cara memilih angka budget pertama kali?
Mulai dari p95 latensi tool di production minimal 7 hari terakhir, lalu kurangi 10 sampai 20 persen agar tail latency terpotong.
Istilah Terkait