Cara Marketer Indonesia Pasang Agent Tool Prefetch Budget 3 Slot di Next.js Supabase, Pangkas p95 Latency Sesi Agent dari 1,8 Detik ke 720 ms dan Hemat Inferensi Rp 5,4 Juta per Bulan di 2026

TL;DR: Agent Tool Prefetch Budget 3 slot di pipeline agent Next.js Supabase memangkas p95 latency sesi dari 1,8 detik ke 720 ms tanpa membakar kuota inferensi. Praktiknya: pasang intent predictor ringan, eksekusi 2-3 tool spekulatif per sesi, simpan hasil di cache TTL 20 detik. Hit rate minimum sehat 0,55.

Dalam beberapa proyek asisten AI yang Vito Atmo bangun di 2026, masalah paling sering muncul bukan akurasi jawaban, tapi latensi sesi yang membuat user mengira asisten "lemot". Setelah audit traces dari Atmo LMS dan Vetmo, sumber utama latensi adalah tool call sekuensial yang baru dieksekusi setelah user mengirim pesan.

Solusinya bukan menambah kapasitas inferensi, tapi memindahkan eksekusi tool ke fase spekulatif sebelum user menekan kirim. Itulah yang dilakukan Agent Tool Prefetch Budget.

Masalah: Tool Call Sekuensial Membakar p95

Pipeline agent standar di Next.js Supabase biasanya mengikuti urutan: user kirim pesan, LLM parse intent, panggil tool, terima hasil, generate jawaban. Setiap langkah menambah 200-400 ms. Untuk sesi yang butuh 3-4 tool call, p95 mudah tembus 2 detik. Berdasarkan data Web Vitals yang Vito pakai di proyek client, threshold psikologis user mulai gelisah ada di 1,2 detik. Lewat itu, retensi sesi turun 18-24 persen.

Framework: 3-Slot Prefetch Budget

Tiga slot ini ditetapkan berdasarkan trade-off biaya dan akurasi. Lebih dari 3 slot membakar kuota tanpa kenaikan signifikan di hit rate karena distribusi intent biasanya long-tail. Konsep mirip LLM Prefetch Cache Budget tapi di lapisan tool, bukan model.

// app/api/agent/prefetch.ts
const PREFETCH_BUDGET = 3
const SESSION_BUDGET = 8

async function maybePrefetch(session: AgentSession) {
  if (session.prefetchCount >= PREFETCH_BUDGET) return
  if (globalCounter.get() >= SESSION_BUDGET * activeSessions) return
  const intent = await predictIntent(session.history)
  if (intent.confidence < 0.55) return
  const result = await runTool(intent.tool, { ttl: 20 })
  session.cache.set(intent.tool, result)
  session.prefetchCount++
}

Studi Kasus: Atmo LMS, p95 Turun 60 Persen

Saat membangun fitur asisten kurikulum di Atmo LMS, Vito menerapkan Prefetch Budget 3 slot dengan intent predictor berbasis distilbert ringan di edge. Hasil setelah 28 hari:

• p95 latency turun dari 1,8 detik ke 720 ms
• Biaya inferensi turun Rp 5,4 juta per bulan karena 41 persen tool call sudah ter-cache
• Hit rate stabil di 0,61 untuk slot 1, 0,52 untuk slot 2, 0,38 untuk slot 3
• Retensi sesi naik 22 persen di minggu kedua

Angka ini bervariasi tergantung kompleksitas tool dan distribusi intent. Untuk asisten yang topiknya sangat lebar (e.g. customer service umum), hit rate slot 1 bisa turun di bawah 0,5 dan budget perlu diturunkan.

Praktik yang Harus Dihindari

Jangan pasang prefetch tanpa budget guard global. Tanpa guard, traffic spike akan memicu Agent Tool Quota Saturation dan justru memperburuk latensi. Selalu pasang kombinasi budget per sesi dan budget global konkuren.

Referensi tambahan: dokumentasi Vercel Edge Config untuk simpan ambang dinamis, dan riset Nielsen Norman tentang response time research.

Pertanyaan Umum

Apakah Prefetch Budget cocok untuk semua jenis agent?

Tidak. Agent dengan intent sangat acak (e.g. chatbot serba bisa) sulit dipredict, hit rate turun di bawah ambang sehat. Cocok untuk asisten domain spesifik.

Berapa ambang hit rate untuk lanjut atau hentikan prefetch?

Praktik standar: 0,55 untuk lanjut, di bawah 0,40 untuk turunkan budget atau matikan prefetch slot itu.

Apakah perlu model intent predictor besar?

Tidak. Model 100-300 MB di edge sudah cukup untuk akurasi 0,6 ke atas. Yang penting low-latency inference, bukan model besar.

Bagaimana cara monitor budget?

Pasang counter di Redis atau Supabase Edge Cache, expose ke dashboard, alert jika hit rate harian turun di bawah 0,45.

Penutup: Latensi Sebagai Konversi Tersembunyi

Latensi 600 ms versus 1,5 detik kelihatan kecil di metrik teknis tapi besar di retensi user. Prefetch Budget adalah cara murah memindahkan pekerjaan ke fase spekulatif. Mulai dari 2 slot, ukur hit rate seminggu, naik ke 3 slot kalau ambang terpenuhi.