Studi Kasus Felicia Tan: Pasang Agent Tool Timeout Budget 1,8 Detik di Asisten Fashion, Pangkas Sesi Gagal 43 Persen dan Hemat Biaya Inferensi Rp 4,8 Juta per Bulan di 2026

TL;DR: Asisten AI personal branding fashion milik Felicia Tan sebelumnya menahan sesi pengguna sampai 26 detik ketika API katalog third-party lambat. Setelah memasang Agent Tool Timeout Budget 1,8 detik di tool katalog dan fallback parsial ke cache Supabase, sesi gagal turun 43 persen dalam 28 hari dan biaya inferensi LLM hemat sekitar Rp 4,8 juta per bulan.

Felicia Tan menjalankan asisten AI di websitenya untuk memandu calon klien personal styling. Asisten ini memanggil API katalog gambar pihak ketiga, lalu mengoper hasilnya ke model LLM untuk dirangkum. Saat traffic naik bulan Maret 2026, API katalog mengalami spike latency 8 sampai 26 detik, dan asisten ikut macet.

Solusi yang ditempuh adalah memasang Agent Tool Timeout Budget yang tegas, bukan menaikkan retry. Logika sederhana: kalau dalam 1,8 detik tool katalog tidak kembali, asisten beralih ke cache Supabase dan menjawab dengan data terakhir yang valid plus catatan kecil.

Masalah Sebelum Intervensi

Sebelum perubahan, tiga gejala muncul. Pertama, sesi pengguna sering ditutup tab tanpa balasan karena menunggu terlalu lama, terlihat di angka session abandonment 31 persen. Kedua, biaya inferensi LLM membengkak karena tool yang menggantung tetap memegang context window terbuka. Ketiga, dashboard internal sering memunculkan error timeout layer Next.js (Vercel function limit), yang memicu reset state percakapan.

Kami mendiagnosis ini dengan log p95 dan p99 di Supabase, sejalan dengan saran OpenAI production best practices tentang circuit breaker eksplisit. Konteks ini juga relevan dengan Agent Tool Fallback Chain yang sebelumnya sudah kami terapkan di proyek Atmo LMS.

Framework Intervensi

Angka biaya didasarkan estimasi internal proyek Felicia per Maret-April 2026. Hasil bisa bervariasi tergantung volume sesi dan harga model.

Studi Kasus: Eksekusi 28 Hari

Implementasi memakai pola yang mirip dengan yang kami pasang di asisten parfum Nalesha. Tool katalog dibungkus AbortController dengan signal timeout 1.800 ms. Saat timeout terjadi, agent memanggil RPC Supabase cached_catalog_lookup yang berisi snapshot 6 jam terakhir. Hasilnya disertai kalimat: "Berikut item dari katalog terakhir yang tersimpan, mungkin ada update terbaru."

Dalam 28 hari pemantauan, sesi gagal turun dari 31 persen ke 18 persen (turun 43 persen relatif). Biaya inferensi LLM turun karena tidak ada lagi sesi menggantung yang menahan context. Felicia juga melihat klik organik dari Perplexity naik tipis, kemungkinan karena experience yang lebih responsif menaikkan engagement (sinyal yang juga dipakai AEO Snippet Trust Handoff).

Pertanyaan Umum

Kenapa pilih 1,8 detik, bukan 3 detik?

Kami ambil p95 latensi tool katalog selama 14 hari (kira-kira 2,1 detik) lalu kurangi 15 persen sehingga tail latency 99 persen terpotong tegas. Hasilnya 1,8 detik.

Apakah cache stale membuat jawaban tidak akurat?

Cache di-refresh tiap 6 jam dan jawaban menyebut bahwa data adalah snapshot. Ini lebih jujur untuk pengguna dibanding membuat mereka menunggu tanpa kejelasan.

Bisakah pola ini dipakai di domain non-fashion?

Bisa. Pola timeout budget berlaku universal di asisten AI. Yang berubah hanya angka budget dan jenis cache fallback. Kami pakai pola serupa di asisten hukum Aris Setiawan dan konsultan pajak Ade Mulyana.

Penutup

Kasus Felicia menunjukkan bahwa keandalan asisten AI sering bukan soal model yang lebih besar, melainkan kontrak waktu yang tegas dengan tool eksternal. Untuk marketer Indonesia yang membangun asisten di Next.js + Supabase, mulai dari mengukur p95 tool, lalu tetapkan timeout budget. Hasilnya terlihat di sesi sukses, biaya inferensi, dan pengalaman pengguna.