Digital Transformation
Agent Tool Prefetch Budget
TL;DR: Agent Tool Prefetch Budget adalah batas jumlah pemanggilan tool spekulatif yang boleh dieksekusi sebelum permintaan pengguna sebenarnya tiba. Tujuannya memangkas latensi p95 sesi agent sambil menjaga biaya inferensi dan kuota API tetap di bawah ambang yang disepakati.
Apa itu Agent Tool Prefetch Budget?
Agent Tool Prefetch Budget adalah pagar kapasitas yang dipasang di lapisan orkestrasi agent untuk mengizinkan eksekusi tool secara spekulatif berdasarkan prediksi intent pengguna. Konsepnya mirip Agent Tool Warmup Pool, tapi alih-alih memanaskan koneksi, prefetch menjalankan tool penuh dengan asumsi hasilnya akan dipakai. Jika prediksi tepat, latensi p95 turun drastis karena hasil sudah tersedia di cache sesi.
Budget ini biasanya dinyatakan sebagai dua angka: jumlah maksimum prefetch per sesi dan jumlah maksimum prefetch konkuren di seluruh sistem. Tanpa budget, prefetch agresif bisa membakar kuota dan menyebabkan Agent Tool Quota Saturation.
Cara Kerja
| Komponen | Fungsi |
|---|---|
| Intent predictor | Memperkirakan tool berikutnya berdasarkan riwayat sesi |
| Budget guard | Menolak prefetch jika kuota sesi atau global sudah habis |
| Result cache | Menyimpan hasil prefetch dengan TTL pendek (10-30 detik) |
| Hit/miss tracker | Mencatat akurasi prefetch untuk tuning ambang prediktor |
Praktik standar di industri menempatkan budget di 2-4 prefetch per sesi dengan target hit rate minimal 0,55. Di bawah ambang itu, prefetch lebih banyak membakar biaya daripada menghemat latensi.
Kenapa Penting?
Untuk marketer dan developer di Indonesia yang membangun asisten AI untuk produk lokal, latensi sesi sering jadi pembeda utama versus kompetitor luar negeri yang punya infrastruktur lebih dekat. Prefetch budget yang ditata baik bisa menutup gap latensi 200-400 ms tanpa harus pindah region. Dari pengalaman 7+ tahun menangani implementasi agent di proyek client, prefetch tepat sasaran umumnya menurunkan p95 sesi 25-40 persen sambil menjaga biaya naik tidak lebih dari 8 persen.
Pertanyaan Umum
Apakah Prefetch Budget sama dengan Warmup Pool?
Tidak. Warmup pool memanaskan koneksi atau model, sedangkan prefetch budget mengeksekusi tool penuh secara spekulatif. Keduanya saling melengkapi di pipeline agent.
Berapa hit rate minimum yang sehat?
Ambang umum 0,55. Di bawah itu, biaya prefetch melebihi penghematan latensi dan budget sebaiknya diturunkan.
Istilah Terkait