Digital Transformation
Agent Tool Jitter Window
TL;DR: Agent Tool Jitter Window adalah rentang waktu acak yang dimasukkan ke jadwal retry tool call asisten AI supaya request tidak datang serentak setelah kegagalan. Per Mei 2026, asisten yang pakai jitter window 200-800 ms di backoff retry rata-rata pangkas 30-50% error burst dibanding fixed delay.
Apa itu Agent Tool Jitter Window?
Agent Tool Jitter Window adalah teknik menambahkan delay acak pada retry policy tool call. Tanpa jitter, banyak request gagal di waktu hampir bersamaan dan retry secara serempak, sehingga muncul lonjakan permintaan baru (thundering herd) yang justru memperburuk kondisi.
Analoginya, antrean kasir minimarket akan macet kalau semua orang refresh struk di detik yang sama. Jitter mengacak waktu refresh tiap orang sehingga beban kasir merata.
Cara Kerja di Pipeline Tool Call
| Strategi | Formula | Karakter |
|---|---|---|
| Full Jitter | random(0, base*2^n) | paling agresif, paling rata |
| Equal Jitter | base2^n/2 + random(0, base2^n/2) | seimbang |
| Decorrelated | random(base, prev*3) | adaptif sesuai histori |
Praktik standar di asisten produksi memakai Full Jitter atau Decorrelated dengan window 200-800 ms untuk first retry, 500-2000 ms untuk retry berikutnya. Lihat panduan resmi AWS Architecture Blog soal exponential backoff and jitter.
Kenapa Penting untuk Marketer Indonesia?
Asisten AI di funnel flash sale e-commerce atau campaign Ramadan sering hit rate limit serentak. Jitter window mengurangi cascading failure tanpa menambah biaya infrastruktur, sehingga konversi flash sale tidak amblas saat traffic spike.
Pertanyaan Umum
Apakah jitter sama dengan delay biasa?
Tidak. Delay biasa nilai tetap, jitter memasukkan komponen acak. Tujuannya berbeda: delay menunda, jitter mencegah sinkronisasi retry.
Berapa lebar window yang ideal?
Umumnya 200-800 ms untuk first retry tool call asisten percakapan. Untuk batch job atau tool berat, boleh 1-3 detik.
Istilah Terkait