Studi Kasus Felicia Tan: Pasang Agent Tool Streaming Buffer 8 KB di Asisten Fashion, Stabilkan p95 Latency dari 1,4 Detik ke 540 ms dan Pangkas Retry Penuh 62 Persen Selama 31 Hari di 2026

TL;DR: Asisten fashion personal brand Felicia Tan memiliki p95 latency tool-call 1,4 detik dan retry penuh 27 persen sesi pada April 2026, terutama dari user mobile di luar Jakarta. Setelah memasang Agent Tool Streaming Buffer 8 KB dengan flush interval 120 ms, p95 latency turun ke 540 ms dan retry penuh turun 62 persen dalam 31 hari, tanpa menaikkan biaya inferensi.

Konteks Masalah

Felicia Tan menjalankan personal brand fashion edukasi dengan asisten AI yang membantu pengikutnya memilih outfit berdasarkan acara, anggaran, dan tipe tubuh. Asisten dibangun di atas Next.js 15 dan Supabase, dengan 4 tool: retrieval katalog, kalkulator anggaran, lookup palette warna, dan rekomendasi merchant.

Per awal April 2026, dashboard internal menunjukkan tiga masalah persisten. P95 latency tool-call menyentuh 1,4 detik di jam sibuk, retry penuh terjadi di 27 persen sesi, dan keluhan "lemot" muncul di kolom feedback dengan frekuensi 41 per minggu. Mayoritas keluhan datang dari pengguna mobile di Bandung, Yogyakarta, dan Makassar.

Diagnosis

Trace di Supabase Edge Functions menunjukkan kegagalan jaringan parsial di tengah streaming tool-call sebagai akar masalah, bukan kegagalan tool itu sendiri. Ketika koneksi mobile drop selama 800-1500 ms, agent kehilangan stream dan memicu retry penuh, yang membakar token ulang dan menggandakan latency persepsi user.

Praktik standar di industri 2026 menunjuk ke Agent Tool Streaming Buffer sebagai pertahanan utama untuk kasus seperti ini. Pendekatan ini melengkapi Agent Tool Retry Policy yang sudah dipasang sebelumnya.

Implementasi

Implementasi dilakukan di lapisan middleware antara tool runtime dan LLM agent. Buffer menyimpan output sampai threshold 8 KB tercapai atau interval 120 ms terlewati. Jika koneksi drop, resume token memungkinkan tool melanjutkan dari titik terakhir tanpa memanggil ulang dari awal.

Hasil Setelah 31 Hari

Pengukuran dilakukan dengan A/B test 50:50 selama 31 hari, dengan kontrol pada versi tanpa buffer dan eksperimen pada versi dengan buffer 8 KB.

Biaya inferensi tetap stabil karena penurunan retry penuh menutupi tambahan overhead buffer. Task completion rate naik karena user tidak lagi keluar di tengah jalan akibat latency tinggi.

Pelajaran Praktis

Tiga pelajaran yang dapat ditarik dari kasus Felicia Tan untuk marketer Indonesia lain yang membangun asisten AI.

Pertama, retry penuh adalah pembunuh diam-diam di tagihan inferensi LLM. Buffer 8 KB yang biaya implementasinya rendah memangkas penyebab utama tagihan tak terduga. Kedua, ukuran buffer harus disesuaikan dengan profil traffic. 8 KB cocok untuk asisten konsumen ringan, 16 KB untuk asisten yang sering memanggil retrieval besar. Ketiga, monitoring per sesi penting karena rata-rata global menutupi pola kegagalan regional, dan justru pola regional inilah yang paling sering dirasakan user.

Rujukan tambahan untuk implementasi: dokumentasi resmi Supabase Edge Functions menjelaskan pola streaming yang relevan untuk pembangunan middleware buffer.

Pertanyaan Umum

Apakah buffer ini berlaku untuk semua jenis tool?

Paling efektif untuk tool retrieval atau tool yang mengembalikan output streaming panjang. Untuk tool yang return-nya pendek seperti kalkulator sederhana, manfaat buffer minim.

Bagaimana memilih ukuran buffer yang tepat?

Mulai dari 4 KB dan naikkan bertahap sambil monitor p95 latency dan retry rate. Berhenti di ukuran yang memberi penurunan retry signifikan tanpa menaikkan time-to-first-token secara mencolok.

Apakah pendekatan ini bekerja di luar Next.js?

Ya. Konsepnya tidak terikat framework. Implementasi serupa berhasil di proyek Atmo LMS yang berbasis SvelteKit dengan parameter buffer sedikit lebih besar (12 KB).

Penutup

Streaming buffer adalah salah satu intervensi infrastruktur dengan rasio dampak-terhadap-usaha tertinggi untuk asisten AI di Indonesia. Untuk Felicia Tan, 31 hari implementasi memangkas keluhan user lebih dari dua per tiga dan menstabilkan ekonomi unit asisten. Bagi marketer Indonesia yang membangun produk serupa, pola ini layak diuji sebelum berinvestasi di optimasi yang lebih kompleks.