Digital Transformation
Agent Tool Shadow Traffic
TL;DR: Agent Tool Shadow Traffic adalah praktik menyalin sebagian trafik produksi ke versi tool atau model baru tanpa menampilkan hasilnya ke pengguna. Tujuannya validasi akurasi, latency, dan biaya sebelum rollout, sehingga tim bisa membandingkan versi lama dan baru secara apple-to-apple dengan data nyata.
Apa itu Agent Tool Shadow Traffic?
Agent Tool Shadow Traffic mengirim salinan request asisten AI ke dua jalur: jalur produksi yang dilihat pengguna, dan jalur shadow yang hanya dicatat untuk analisis. Pola ini mirip dengan canary release tapi lebih konservatif karena output shadow tidak pernah sampai ke pengguna.
Dalam praktik di Atmo LMS, kami memakai shadow traffic untuk menguji versi baru rerank model sebelum production switch. Selama 14 hari, 20 persen trafik disalin ke versi baru, hasilnya disimpan ke tabel log Supabase, lalu dibandingkan dengan baseline produksi.
Cara Kerja & Komponen Utama
| Komponen | Fungsi |
|---|---|
| Traffic splitter | Memilih persentase request yang akan di-shadow (umumnya 10-25 persen) |
| Shadow runner | Mengeksekusi tool/model baru secara paralel, output tidak ke user |
| Log store | Menyimpan input, output produksi, output shadow, latency, token usage |
| Diff analyzer | Hitung perbedaan akurasi, biaya, latency p50/p95 |
Kenapa Penting?
Shadow traffic mengurangi risiko rollout asisten AI di produk konsumen Indonesia. Data dari praktik internal menunjukkan 3-5 persen perubahan versi model bisa berdampak negatif ke task completion rate, dan ini hanya bisa dideteksi dengan trafik nyata, bukan benchmark sintetis. Lihat juga panduan resmi Google SRE tentang shadow deployment.
Pertanyaan Umum
Apakah Shadow Traffic sama dengan A/B Testing?
Tidak. A/B testing menampilkan dua versi ke segmen pengguna berbeda. Shadow traffic hanya menampilkan versi produksi, versi shadow tidak pernah dilihat pengguna sama sekali.
Berapa lama durasi shadow yang ideal?
Umumnya 7-21 hari untuk menangkap variasi harian dan mingguan. Untuk asisten dengan trafik rendah, perlu durasi lebih panjang agar sample cukup signifikan.
Istilah Terkait