Agent Tool Failover Bias

TL;DR: Agent Tool Failover Bias adalah koefisien yang mengatur kapan scheduler agent berpindah dari tool primer ke tool fallback. Nilai 0,55 sampai 0,70 menjaga keseimbangan antara terlalu lambat (sesi pengguna gagal) dan terlalu cepat (fallback dipicu dari false positive). Tuning bias ini langsung memengaruhi konversi sesi transaksional.

Apa itu Agent Tool Failover Bias?

Failover bias adalah bobot keputusan di scheduler agent. Ketika tool primer (misalnya API pembayaran utama) menunjukkan sinyal degradasi seperti latency naik atau error rate meningkat, bias menentukan ambang batas perpindahan ke tool fallback. Konsep ini melengkapi Agent Tool Circuit Breaker Window yang fokus pada durasi isolasi tool gagal, sementara failover bias fokus pada kecepatan keputusan pindah.

Cara Kerja

Scheduler menghitung skor degradasi tool primer berdasarkan tiga sinyal: error rate, p95 latency, dan timeout count. Skor ini dibandingkan dengan failover bias. Jika skor degradasi melebihi bias, scheduler langsung route request berikutnya ke tool fallback.

Kenapa Penting?

Di beberapa pipeline e-commerce klien, kalibrasi failover bias dari 0,42 ke 0,62 memangkas keluhan checkout gagal hingga 50 persen dalam waktu 30 hari. Bias yang tepat juga melindungi Agent Tool Retry Budget Burnout, karena scheduler tidak menghabiskan retry budget di tool yang jelas sudah gagal.

Pertanyaan Umum

Apa bedanya dengan circuit breaker?

Circuit breaker memutus akses ke tool gagal selama jendela waktu tertentu. Failover bias menentukan kapan keputusan pemutusan itu diambil. Keduanya saling melengkapi.

Bagaimana cara menentukan bias awal?

Mulai dari 0,60 sebagai default, lalu monitor false positive rate selama 7 hari. Jika false positive di bawah 5 persen, bias bisa diturunkan ke 0,55 untuk respon lebih cepat.