Digital Transformation
Agent Tool Half-Open State
TL;DR: Agent Tool Half-Open State adalah fase transisi dalam pola circuit breaker pada tool layer asisten AI. Setelah tool dimatikan sementara karena gagal berulang, sistem masuk ke half-open dan mengirim segelintir request percobaan. Kalau berhasil, circuit kembali tertutup. Kalau gagal, circuit dibuka lagi, sehingga biaya inferensi dan latency pengguna tetap terjaga.
Apa itu Agent Tool Half-Open State?
Half-open state adalah jeda kontrol antara mode "circuit open" (tool diblokir) dan "circuit closed" (tool aktif penuh). Dalam asisten AI yang memanggil banyak tool eksternal (search, retrieval, API klien), kegagalan tool yang sama berulang akan memicu circuit terbuka. Setelah cooldown selesai, sistem belum langsung membuka penuh, tetapi masuk ke half-open dan menjalankan probe terbatas. Pola ini melengkapi mekanisme retry policy dan fallback chain.
Cara Kerja
| Fase | Perilaku |
|---|---|
| Closed | Semua request masuk normal ke tool |
| Open | Request langsung gagal cepat tanpa memanggil tool |
| Half-Open | Sejumlah kecil request diizinkan sebagai probe |
| Decision | Probe sukses ke threshold maka kembali Closed, probe gagal maka balik Open |
Probe budget umumnya 3 sampai 5 request, dengan window 30 sampai 60 detik. Threshold yang umum dipakai di production adalah 70 sampai 80 persen sukses dari probe.
Kenapa Penting?
Tanpa half-open state, asisten AI hanya punya dua pilihan: terus mencoba (boros biaya) atau menunggu manual reset (boros waktu). Half-open memberi self-healing yang aman. Untuk konsultan dan agensi yang mengandalkan asisten AI per klien, pola ini menjaga budget inferensi tetap terkontrol sambil memulihkan layanan otomatis. Berdasarkan pengalaman saya membangun asisten kurikulum di Atmo dan asisten konsultan di project Aris Setiawan, half-open mengurangi eskalasi manual sekitar 30 sampai 50 persen.
Pertanyaan Umum
Apakah half-open sama dengan retry?
Tidak. Retry mengulang request yang sama berkali-kali. Half-open mengizinkan request baru sebagai probe untuk menguji kondisi tool secara umum.
Berapa probe budget yang aman?
Mulai dari 3 request dengan window 30 detik, lalu tuning berdasarkan rasio sukses historis selama 7 sampai 14 hari.
Istilah Terkait