Agent Tool Throttle Bias

TL;DR: Agent Tool Throttle Bias muncul saat rate limit atau quota pada satu tool memaksa agent berpindah ke tool cadangan yang lebih murah tetapi kurang akurat. Bias ini jarang terlihat di log standar karena agent tetap menjawab. Indikator awal: akurasi sesi turun di jam sibuk meskipun jumlah error tetap rendah.

Apa itu Agent Tool Throttle Bias?

Agent Tool Throttle Bias adalah preferensi agent yang berubah karena tekanan throttling, bukan karena kualitas tool. Misal, asisten Anda biasanya pakai vector search berkualitas tinggi, tapi saat trafik puncak, agent tool rate limit burst memaksa fallback ke keyword search yang lebih kasar. Hasilnya, jawaban tetap dikirim, tapi relevansi turun. Bias ini terkait erat dengan agent tool routing bias dan sering menjadi penyebab awal agent tool quota saturation.

Cara Kerja

Pola distorsi biasanya muncul lewat tiga jalur:

Audit dilakukan dengan log per pemilihan tool, bukan hanya log final response. Tanpa instrumentasi pemilihan, bias akan tersembunyi di balik metrik latensi yang tampak normal.

Kenapa Penting?

Saat membangun pipeline RAG untuk klien e-commerce parfum Nalesha selama 2026, throttle bias menjadi penyebab utama keluhan akurasi rekomendasi produk di jam 20.00 sampai 22.00. Setelah throttling distabilkan dengan agent tool budget arbitration, akurasi rekomendasi malam hari naik dari 0,71 ke 0,86 tanpa menambah biaya total inferensi.

Pertanyaan Umum

Apakah throttle bias selalu buruk?

Tidak selalu. Throttling adalah pertahanan terhadap agent tool quota saturation. Bias menjadi masalah ketika tidak terukur dan kualitas turun di jam tertentu tanpa diketahui tim.

Bagaimana cara mengukurnya?

Catat distribusi pemilihan tool per jam, lalu bandingkan akurasi sesi pada jam puncak vs jam sepi. Selisih akurasi di atas 10 persen adalah indikasi kuat throttle bias aktif.