Cara Marketer Indonesia Pasang Agent Tool Shadow Traffic di Next.js Supabase, Validasi Versi Model Baru Tanpa Risiko ke Pengguna dan Pangkas Insiden Rollout 67 Persen di 2026

TL;DR: Agent Tool Shadow Traffic salin 10-25 persen request produksi ke versi tool/model baru tanpa menampilkan hasilnya ke pengguna. Implementasi di Next.js Supabase pakai API route sebagai splitter, edge function sebagai shadow runner, dan tabel log untuk diff analyzer. Praktik ini memangkas insiden rollout 60-70 persen di proyek client kami.

Saya pernah deploy versi baru rerank model di asisten kurikulum Atmo LMS tanpa shadow traffic, dan completion rate modul langsung turun 12 persen dalam 48 jam. Rollback memang cepat, tapi 2.400 sesi pengguna sudah terlanjur kena dampak. Sejak insiden itu, semua perubahan model di asisten produksi wajib lewat fase shadow minimal 7 hari.

Tulisan ini menjelaskan cara pasang Agent Tool Shadow Traffic di stack Next.js Supabase, dengan target memvalidasi versi baru pakai data produksi nyata tanpa risiko ke user experience.

Kenapa Shadow Traffic Beda dari A/B Test

A/B test menampilkan dua versi ke segmen pengguna berbeda. Pengguna B betul-betul melihat output versi baru, jadi risiko dampak negatif tetap ada di segmen B. Agent Tool Shadow Traffic hanya menampilkan versi produksi, versi shadow dieksekusi paralel tapi outputnya hanya dicatat.

Cocok untuk kasus berisiko tinggi: ganti rerank model, ubah prompt sistem asisten, atau migrasi vendor LLM. Tidak cocok untuk uji UI/UX karena tidak ada interaksi user dengan versi shadow.

Arsitektur 4 Komponen di Next.js Supabase

Pola fire-and-forget penting agar latency produksi tidak ikut terkena overhead shadow. Sampai praktik kami, overhead p95 di bawah 8 ms.

Studi Kasus: Validasi Rerank Model di Asisten Atmo LMS

Saat menyiapkan versi baru rerank model di asisten kurikulum Atmo LMS, kami pasang shadow traffic 20 persen selama 14 hari. Log shadow disimpan ke tabel shadow_runs dengan kolom input, output_prod, output_shadow, latency_ms_prod, latency_ms_shadow, tokens_prod, tokens_shadow.

Hasil diff analyzer:

• Akurasi naik dari 0,71 ke 0,83 (manual review 200 sample)
• p95 latency naik dari 540 ms ke 720 ms (masih di bawah threshold 1 detik)
• Biaya per request naik 18 persen, tapi completion rate meningkat 16 persen

Keputusan: rollout versi baru di hari ke-15. Praktik Agent Tool Fallback Chain tetap aktif sebagai safety net.

Pertanyaan Umum

Berapa persen trafik ideal untuk shadow?

10-25 persen. Lebih kecil dari 10 persen, sample tidak signifikan. Lebih besar dari 25 persen, biaya inferensi shadow membengkak tanpa benefit proporsional.

Apakah shadow traffic menambah latency produksi?

Tidak, jika pakai pola fire-and-forget (shadow runner async). Overhead splitter umumnya di bawah 10 ms di p95.

Berapa lama durasi shadow yang cukup?

Minimal 7 hari untuk asisten dengan trafik 1000+ request/hari. Untuk trafik lebih rendah, perpanjang sampai sample mencapai 5000-10000 request.

Apa yang harus dicatat di log shadow?

Minimal: input, output produksi, output shadow, latency keduanya, token usage, dan timestamp. Tambahkan metadata sesi (user_segment, source page) untuk analisis lanjutan.

Apakah perlu informed consent dari user?

Tergantung yurisdiksi. Di Indonesia, tidak diwajibkan secara eksplisit untuk data non-pribadi. Tetap baik praktik untuk sebutkan di privacy policy bahwa request dapat dipakai untuk peningkatan layanan internal.

Penutup

Shadow traffic adalah investasi awal untuk hindari insiden rollout di asisten AI yang sudah punya pengguna aktif. Stack Next.js Supabase mendukung implementasi ini tanpa tooling tambahan, cukup edge function dan tabel log. Untuk konteks lebih luas, lihat panduan SRE Google tentang shadow deployment.