Agent Tool Quota Bias

TL;DR: Agent Tool Quota Bias adalah strategi membobotkan kuota panggilan tool agent agar tool kritis (misal billing, booking) tidak kelaparan saat tool sekunder mendominasi traffic. Sweet spot bias 0,55 ke 0,70 menjaga determinisme sesi tanpa mematikan eksplorasi.

Apa itu Agent Tool Quota Bias?

Quota Bias adalah parameter alokasi kuota yang memberi bobot lebih besar ke subset tool penting di dalam sesi agent tool. Tanpa bias, kuota dibagi rata, sehingga tool eksperimental bisa menghabiskan slot dan membuat tool transaksional gagal di p95. Dalam beberapa proyek terakhir, saya melihat sesi agent dengan 6 tool aktif kehilangan 18 persen konversi karena tool transaksional terdorong ke antrian belakang.

Cara Kerja Bias

Skema umum: setiap tool diberi bobot $w_i$, kuota efektif $q_i = Q \cdot w_i / \sum w$. Bobot dihitung dari nilai bisnis tool (revenue impact, SLA), bukan dari frekuensi pemakaian.

Kenapa Penting?

Bias yang dikalibrasi mencegah retry budget burnout di tool kritis saat traffic naik. Untuk marketer Indonesia yang mengoperasikan asisten booking atau e-commerce, ini berarti konversi flash sale tetap terjaga. Riset Google SRE soal "rate limiting bias" mendukung pendekatan ini untuk mencegah cascading failure.

Pertanyaan Umum

Apakah Quota Bias sama dengan Rate Limit Burst?

Tidak. Bias mengatur proporsi kuota antar tool, sementara rate limit burst mengatur kapasitas sesaat per window.

Berapa nilai bias yang ideal untuk tool transaksional?

Mulai dari 0,60 lalu ukur tail latency dan stall rate selama dua minggu sebelum naikkan.