Digital Transformation
Agent Tool Rate Limit Burst
TL;DR: Agent Tool Rate Limit Burst adalah jatah panggilan tambahan jangka pendek di atas batas normal rate limit. Pola ini memakai token bucket atau leaky bucket sehingga lonjakan trafik singkat tetap dilayani tanpa langsung throttle. Burst yang sehat berkisar 1,5 sampai 3 kali rate dasar untuk asisten produksi.
Apa itu Agent Tool Rate Limit Burst?
Agent Tool Rate Limit Burst merujuk pada kapasitas surplus yang diberikan kepada konsumen tool agent untuk menangani lonjakan trafik mendadak. Bayangkan ember bocor (leaky bucket): air diisi dengan kecepatan tetap, tapi ember bisa menampung kelebihan air sementara sebelum meluap. Konsep ini berbeda dari agent tool quota saturation yang fokus pada jenuh kuota total, bukan elastisitas jangka pendek.
Pola Burst yang Umum
| Pola | Burst Size | Cocok Untuk |
|---|---|---|
| Token Bucket | 1,5 sampai 2 kali rate dasar | Asisten chat real-time |
| Leaky Bucket | 2 sampai 3 kali rate dasar | Tool fetch data terjadwal |
| Sliding Window | Rate adaptif berbasis 60 detik | Asisten dengan trafik berfluktuasi |
Burst yang terlalu besar membuat konsumsi inferensi membengkak saat insiden, sedangkan burst terlalu kecil membuat asisten terasa lambat di puncak trafik.
Kenapa Penting?
Banyak asisten produksi gagal bukan karena rata-rata trafik tinggi, tapi karena lonjakan singkat di jam sibuk. Burst memberi ruang nafas tanpa harus menaikkan kuota permanen yang mahal. Untuk asisten e-commerce Indonesia yang ramai saat flash sale, mengatur burst dengan benar bisa menyelamatkan task completion rate dari penurunan tajam akibat throttle.
Pertanyaan Umum
Apa beda burst dengan menaikkan rate limit?
Burst hanya aktif sementara dan kembali ke rate normal setelah token habis. Menaikkan rate limit permanen menambah biaya tetap dan kurang efisien untuk lonjakan singkat.
Bagaimana mengukur burst yang ideal?
Lihat distribusi panggilan per menit selama 30 hari, ambil persentil 99, lalu set burst supaya menampung 1,5 kali nilai tersebut tanpa throttle.