Digital Transformation
Agent Tool Circuit Breaker
TL;DR: Agent Tool Circuit Breaker adalah mekanisme yang otomatis memutus pemanggilan tool oleh AI agent setelah ambang kegagalan tertentu, lalu memulihkan jalur setelah jeda. Pola ini mencegah token terbuang sia-sia dan menjaga task completion rate stabil saat tool eksternal sedang bermasalah.
Apa itu Agent Tool Circuit Breaker?
Agent Tool Circuit Breaker meminjam pola circuit breaker dari sistem terdistribusi, lalu menerapkannya ke loop tool-calling AI agent. Saat tool seperti API booking, payment, atau search melebihi ambang error misal 3 gagal dalam 60 detik, breaker terbuka dan agent dipaksa pakai jalur fallback atau menjawab tanpa tool. Setelah cooldown, breaker masuk mode half-open dan memberi tool kesempatan satu pemanggilan sebelum dibuka penuh. Pola ini bersaudara dengan Agent Tool Retry Budget, tapi titik fokusnya pada kondisi gagal sistemik, bukan kegagalan individual.
Tiga State Standar
| State | Perilaku |
|---|---|
| Closed | Tool dipanggil normal, kegagalan dihitung |
| Open | Tool diblokir, agent pakai fallback, timer cooldown jalan |
| Half-open | Setelah cooldown, satu probe call diizinkan untuk uji kondisi |
Implementasi sederhana cukup pakai counter di Redis atau state lokal LangGraph dengan threshold konfigurable.
Manfaat Operasional
Saat saya audit asisten AI klien dengan beban produksi 4 ribu interaksi per hari, pola circuit breaker memangkas token inferensi sia-sia hingga 22 sampai 38 persen dan menjaga task completion rate tetap di atas 90 persen walau salah satu tool downstream sedang outage. Praktik resilience yang serupa juga didokumentasikan oleh AWS Architecture Blog.
Kenapa Penting?
Marketer Indonesia yang mengintegrasikan AI agent untuk lead handling, booking, atau customer support perlu pola ini agar biaya inferensi tidak meledak saat satu tool down. Sejak akhir 2025, vendor AI seperti Anthropic dan OpenAI menyediakan hooks bawaan untuk policy semacam ini di SDK mereka.
Pertanyaan Umum
Apa beda Circuit Breaker dengan Retry Budget?
Retry Budget membatasi jumlah retry per tool call, sedangkan Circuit Breaker memutus seluruh jalur tool saat pola kegagalan sistemik terdeteksi.
Berapa cooldown ideal?
Tergantung tool, tapi rentang 30 sampai 120 detik biasa dipakai untuk REST API komersial.