Agent Tool Circuit Breaker Window

TL;DR: Agent Tool Circuit Breaker Window adalah durasi cool-off saat agen LLM otomatis memutus akses ke sebuah tool setelah ambang batas kegagalan tercapai. Setelah window berakhir, tool diuji ulang dengan satu pemanggilan probe sebelum dibuka penuh. Praktik ini umum di pipeline produksi agen Next.js Supabase sejak 2025 untuk menahan cascading failure.

Apa itu Agent Tool Circuit Breaker Window?

Agent Tool Circuit Breaker Window adalah pengaturan resiliensi yang meminjam pola circuit breaker dari Netflix Hystrix lalu diaplikasikan ke pemanggilan tool oleh agen LLM. Saat tingkat kegagalan tool melewati ambang yang ditentukan, misal 5 dari 10 panggilan terakhir gagal, circuit dipindah ke status open dan agen berhenti memanggil tool itu selama window berlangsung. Window inilah yang memberi ruang sistem hilir pulih tanpa diserang ulang oleh retry agen. Pola ini setara dengan Agent Tool Backpressure Window tetapi fokusnya bukan pada laju panggilan, melainkan pada pemutusan saat tool sudah jelas tidak sehat.

Setelah window habis, circuit pindah ke status half-open. Satu panggilan probe dikirim. Bila sukses, circuit kembali closed dan trafik normal. Bila gagal, window di-reset dan circuit tetap open. Window yang terlalu pendek mengundang storm panggilan baru ke tool yang belum pulih, sementara window terlalu panjang menahan trafik sah dan menurunkan kualitas sesi agen.

Cara Kerja Window

Window 30 detik cocok untuk tool dengan SLA cepat dan recovery otomatis, seperti rate-limit reset Supabase Edge. Window 90 sampai 180 detik tepat untuk dependency yang butuh restart manual atau warm-up, misal pipeline reranker yang memuat model embedding ke memori.

Kenapa Penting?

Tanpa circuit breaker window, agen yang terus memanggil tool gagal akan menumpuk retry, menghabiskan token konteks, dan memperburuk antrian downstream. Di proyek Atmo LMS kami melihat sesi gagal turun dari 14 ke 3 persen saat window 120 detik dipasang di atas asisten kurikulum, sejalan dengan praktik yang juga didokumentasikan di Agent Tool Degradation Policy. Untuk marketer dan developer Indonesia yang menjalankan asisten produk di Next.js Supabase, parameter ini menjadi pengaman biaya inferensi dan kestabilan konversi saat trafik melonjak.

Pertanyaan Umum

Bedanya dengan retry budget apa?

Retry budget membatasi jumlah retry per panggilan. Circuit breaker window memutus seluruh akses ke tool selama periode tertentu setelah ambang kegagalan tercapai, sehingga sistem hilir punya ruang pulih.

Berapa nilai window yang sehat?

Kisaran 30 sampai 180 detik. Tool yang cepat pulih cukup 30 sampai 60 detik. Tool berat seperti reranker model besar disarankan 120 sampai 180 detik.