Digital Transformation
Agent Tool Cold Start Budget
TL;DR: Agent Tool Cold Start Budget adalah anggaran latensi yang disediakan tim engineering untuk fase inisialisasi pertama sebuah tool agent, sebelum tool dianggap tidak responsif. Praktik di proyek 2026 menetapkan budget antara 350 ms sampai 900 ms tergantung kelas tool. Lewat dari budget, pipeline harus pindah ke fallback chain agar pengalaman pengguna tetap halus.
Apa itu Agent Tool Cold Start Budget?
Agent Tool Cold Start Budget adalah konsep operasional dalam sistem agentic, yaitu seberapa lama orchestrator boleh menunggu sebuah tool selesai melakukan setup awal sebelum dianggap gagal. Setup awal meliputi load model, buka koneksi database, atau warm worker. Konsep ini terkait erat dengan Agent Tool Warmup Pool dan Agent Tool Fallback Chain.
Analoginya seperti pemanasan atlet sebelum lari. Pelatih memberi batas waktu pemanasan. Kalau lewat batas, pelari diganti orang lain yang sudah siap, sehingga lomba tidak tertunda.
Cara Menentukan Budget
| Kelas Tool | Rentang Budget |
|---|---|
| Tool ringan (REST search) | 200 ms hingga 400 ms |
| Tool sedang (database vector) | 400 ms hingga 700 ms |
| Tool berat (model inference) | 700 ms hingga 1.200 ms |
Ukur p50 dan p95 latensi cold start dari log produksi minimal 14 hari, lalu tetapkan budget 1,2 kali p95.
Kenapa Penting?
Tanpa budget eksplisit, agent rentan macet menunggu tool yang lambat. Marketer Indonesia yang mengoperasikan asisten chat di landing page konversi tinggi membutuhkan UX responsif. Budget yang ketat plus fallback memastikan pengguna tetap dijawab dalam waktu manusiawi.
Pertanyaan Umum
Apa beda Cold Start Budget dengan Warmup Latency?
Warmup Latency adalah waktu nyata yang dibutuhkan. Cold Start Budget adalah plafon yang Anda izinkan secara desain.
Apakah budget bisa dinaikkan dinamis?
Bisa, dengan kebijakan adaptif berdasarkan jam sibuk. Namun jaga p95 supaya tidak naik melebihi batas user perception sekitar 1 detik.