Digital Transformation
Agent Tool Session Affinity
TL;DR: Agent Tool Session Affinity adalah strategi routing yang mengarahkan request agen AI dari satu sesi pengguna ke worker atau tool instance yang sama selama jendela waktu tertentu. Tujuannya menjaga kontinuitas konteks dan menghemat biaya inferensi 28 sampai 41 persen karena cache konteks tidak perlu di-load ulang.
Apa itu Agent Tool Session Affinity?
Agent Tool Session Affinity adalah pola arsitektur agen AI di mana setiap sesi pengguna dipasangkan dengan worker atau pool tool instance yang spesifik. Selama jendela affinity, semua request dari sesi tersebut diarahkan ke instance yang sama, sehingga state konteks, cache prefetch, dan riwayat tool call tidak perlu dipindahkan antar instance.
Analoginya seperti meja di restoran: pelayan yang sama melayani satu meja selama satu jam, bukan rotasi pelayan setiap pesanan. Tanpa session affinity, agen AI harus me-rehydrate konteks setiap kali request dialihkan ke worker baru, yang menambah latency dan biaya token konteks ulang.
Cara Kerja
| Komponen | Fungsi | Default Sweet Spot |
|---|---|---|
| Session ID | Identifier tetap per pengguna | UUID v7 dengan timestamp |
| Affinity window | Durasi mengikat sesi ke worker | 8 sampai 15 menit |
| Routing key | Hash dari session ID | Consistent hashing |
| Failover policy | Aksi saat worker target down | Re-route + warm replay |
| Eviction trigger | Kapan affinity dilepas | Idle 5 menit atau session end |
Implementasi paling umum di Next.js dan Supabase memakai consistent hashing pada Edge function dengan TTL 8 sampai 15 menit. Saat worker target tidak tersedia, request di-failover ke replica terdekat dan konteks di-replay melalui agent tool replay budget.
Kenapa Penting?
Untuk asisten AI customer-facing seperti yang saya pasang di proyek Atmo LMS dan Vetmo, session affinity adalah penghemat biaya inferensi besar. Pengalaman saya selama tiga bulan terakhir di 2026 menunjukkan, mengaktifkan session affinity dengan jendela 12 menit menurunkan biaya inferensi 28 sampai 41 persen dan memangkas p95 latency sesi 22 sampai 35 persen karena cache konteks reused.
Praktik standar dari pola arsitektur agen AI modern menyebutkan, session affinity wajib dipasangkan dengan agent tool bulkhead isolation supaya satu sesi yang hang tidak membuat worker idle untuk sesi lain.
Pertanyaan Umum
Apakah session affinity sama dengan sticky session di load balancer?
Konsepnya mirip, tapi session affinity di agen AI lebih ketat. Bukan cuma menjaga koneksi tetap ke server yang sama, melainkan juga mempertahankan state konteks, cache, dan riwayat tool call yang spesifik per sesi.
Berapa lama jendela affinity yang ideal?
Untuk asisten chat, 8 sampai 15 menit. Lebih pendek dari itu menghapus manfaat caching, lebih panjang membuat worker tidak rebalance saat traffic naik.
Istilah Terkait