Cara Marketer Indonesia Pasang Agent Tool Warmup Budget 4 Panggilan per 15 Menit di Next.js Supabase, Pangkas p95 Latency Sesi Pertama dari 1,8 Detik ke 720 ms di 2026

TL;DR: Agent Tool Warmup Budget 4 panggilan dummy per 15 menit memangkas p95 latency sesi pertama dari 1,8 detik ke 720 ms di pipeline Next.js Supabase. Biaya inferensi tambahan kurang dari 5 persen total bulanan. Kalibrasi 21 hari direkomendasikan sebelum budget final dikunci. Cocok untuk asisten konsultasi, booking, dan rekomendasi produk skala UMKM Indonesia.

Sesi pertama tiap pagi sering jadi pembunuh konversi diam-diam. Pengguna buka asisten, tunggu 1,8 detik, lalu bounce. Untuk asisten konsultasi Atmo LMS dan booking Vetmo, ini berarti kehilangan calon klien yang sebenarnya sudah niat. Solusinya bukan menambah server, tapi menghangatkan tool agent sebelum trafik masuk.

Tulisan ini membahas setup warmup budget yang saya pakai di beberapa proyek klien selama 2026.

Masalah Cold Start di Pipeline Agent

Tool agent seperti search, retriever, dan code executor punya inisialisasi internal yang lambat saat idle. Vercel Edge Functions, salah satu host pilihan untuk Next.js, eksplisit menyebut cold start sebagai variabel utama performance di dokumentasi resmi mereka.

Cold start tipikal yang saya temui:

Range ini saya kompilasi dari 6 proyek klien yang saya audit antara Januari sampai April 2026. Variasi tergantung region edge dan provider model.

Setup Budget di Next.js Supabase

Struktur dasarnya 3 komponen:

Saya alokasikan 4 panggilan per 15 menit. Tiga panggilan ke vector retriever, satu ke web search. Dummy query diambil dari sample query produksi 24 jam terakhir, dirotasi acak agar tool tidak menghafal pola.

CREATE TABLE warmup_log (
  id BIGSERIAL PRIMARY KEY,
  tool TEXT NOT NULL,
  query TEXT NOT NULL,
  latency_ms INT NOT NULL,
  warmed_at TIMESTAMPTZ DEFAULT NOW()
);

Cron-nya dipasang di Supabase pakai pg_cron. Jadwal */15 * * * *.

Kalibrasi 21 Hari

Budget awal tidak final. Saya monitor 21 hari pertama untuk lihat pola:

Untuk Atmo LMS, kalibrasi menunjukkan jam 6 sampai 9 pagi dan 19 sampai 21 malam adalah window kritis. Di luar window itu, warmup dikurangi jadi 2 panggilan per 15 menit. Biaya tambahan total 3,8 persen dari inferensi bulanan.

Hasil yang Konsisten

Dari 3 klien yang saya jalankan setup mirip (Atmo LMS, Vetmo, dan satu klien parfum), hasilnya range 600 sampai 780 ms p95 sesi pertama. Atmo LMS dari 1,8 ke 720 ms. Vetmo dari 1,6 ke 680 ms. Klien parfum dari 1,9 ke 760 ms. Konsistensi ini menunjukkan warmup budget bukan trik satu kasus, tapi praktik operasional yang dapat diandalkan.

Sebagai pembanding, riset Nielsen Norman Group menyebut 1 detik adalah ambang persepsi "instan" untuk pengguna. Membawa p95 dari 1,8 ke 720 ms berarti pengalaman sesi pertama berubah dari "lambat" ke "responsif" secara persepsi.

Pertanyaan Umum

Apakah warmup budget bertabrakan dengan prefetch budget?

Tidak. Prefetch menyiapkan data spesifik. Warmup menjaga tool tetap hangat. Keduanya komplementer, bukan substitusi.

Berapa biaya bulanan tambahan?

Range 2 sampai 6 persen total inferensi untuk skala UMKM. Lebih dari itu berarti budget terlalu agresif.

Apa risiko terbesarnya?

Dummy query yang terlalu seragam membuat tool overfit ke pola itu. Selalu rotasi dari sample produksi terbaru.

Apakah ini cocok untuk SaaS skala besar?

Untuk SaaS dengan trafik konsisten 24 jam, provisioned concurrency lebih hemat. Warmup budget paling efektif di skala UMKM dengan trafik berpola.

Bagaimana jika tidak pakai Supabase?

Pattern sama. Ganti pg_cron dengan Vercel Cron atau cron eksternal seperti Cron-job.org. Logika warmup tetap.

Yang Sering Saya Sarankan ke Klien

Mulai dari 3 panggilan per 15 menit di window puncak saja. Pantau 14 hari. Naikkan jika p95 belum di bawah 800 ms. Jangan mulai dari 5 panggilan langsung, biaya inferensi cepat membengkak tanpa hasil sebanding. Warmup budget adalah pengungkit kecil, bukan solusi total.