Digital Transformation
Agent Tool Execution Jitter
TL;DR: Agent Tool Execution Jitter adalah variansi waktu eksekusi tool call agent, diukur sebagai selisih antara percentile 95 dan median. Jitter rendah berarti pengalaman pengguna konsisten. Sweet spot operasional umumnya di bawah 320 ms untuk asisten interaktif.
Apa itu Agent Tool Execution Jitter?
Agent Tool Execution Jitter mengukur seberapa jauh waktu eksekusi tool call menyimpang dari nilai tengahnya. Berbeda dengan latency rata-rata yang menjawab "seberapa cepat", jitter menjawab "seberapa konsisten". Metrik ini melengkapi Agent Tool Replay Window dan Agent Tool Timeout Budget.
Analoginya seperti perbedaan rata-rata kecepatan kereta dan ketepatan jadwalnya. Dua sistem dapat punya latency p50 yang sama, tetapi pengalaman akan terasa berbeda jika p95-nya jauh lebih tinggi.
Cara Kerja
| Komponen | Definisi |
|---|---|
| p50 (median) | Waktu eksekusi yang dialami 50 persen sesi |
| p95 | Waktu eksekusi yang dialami 95 persen sesi paling lambat |
| Jitter | Selisih p95 minus p50 |
| Sweet spot | Di bawah 320 ms untuk chat asisten |
| Red zone | Di atas 800 ms, biasanya menandakan throttling atau dependency lambat |
Penyebab umum jitter tinggi: cold start, throttling provider model, congestion vector DB, dan jaringan ke endpoint third-party.
Kenapa Penting?
Untuk marketer yang menjalankan asisten lead capture, pengguna cenderung menutup sesi jika eksperimen tidak konsisten. Berdasarkan praktik Vito Atmo di asisten Nalesha (e-commerce parfum) sejak Januari 2026, menekan jitter dari 720 ke 280 ms menurunkan abandonment rate sekitar 14 sampai 19 persen tanpa mengubah model.
Pertanyaan Umum
Bagaimana mengukur jitter pada Supabase edge function?
Pasang timing log di entry dan exit setiap tool call, kumpulkan ke tabel telemetry. Hitung p50 dan p95 per 5 menit.
Apakah caching menurunkan jitter?
Caching menurunkan latency, tetapi efek terhadap jitter bergantung pada hit rate. Cache miss yang jarang justru memperburuk jitter karena distribusi makin bimodal.
Istilah Terkait