Digital Transformation
Agent Tool Degraded Mode
TL;DR: Agent Tool Degraded Mode adalah konfigurasi resiliensi yang memaksa agen AI memakai tool alternatif atau respons template singkat ketika tool utama gagal, melewati budget token, atau latensi melonjak. Tujuannya menjaga task completion rate tetap di atas 80 persen tanpa membakar biaya inferensi berlebih.
Apa itu Agent Tool Degraded Mode?
Agent Tool Degraded Mode adalah mode operasi cadangan untuk agen berbasis LLM. Saat tool utama, misal RAG retrieval atau model premium, gagal merespons dalam ambang batas, agen tidak melempar error ke pengguna. Sebagai gantinya agen beralih ke jalur cadangan: tool yang lebih murah, model yang lebih ringan, atau respons template yang sudah dikurasi sebelumnya.
Konsep ini dekat dengan Agent Tool Fallback Chain, tapi degraded mode lebih luas. Fallback chain fokus pada urutan tool, sedangkan degraded mode mencakup keputusan untuk turun kelas total, termasuk memakai template hardcoded tanpa LLM call sama sekali.
Trigger yang Mengaktifkan Degraded Mode
| Trigger | Ambang Standar | Tindakan |
|---|---|---|
| Latensi tool utama | Lebih dari 4 detik | Pindah ke tool ringan |
| Budget token harian terlampaui | 90 persen quota | Pakai template respons |
| Tool error berturut turut | 3 kali dalam 60 detik | Aktifkan circuit breaker |
| Confidence score retrieval | Di bawah 0,42 | Minta klarifikasi user |
Konfigurasi ini biasanya disimpan sebagai policy file yang dibaca agent runtime. Tim engineering perlu menetapkan threshold yang masuk akal berdasarkan beban produksi.
Kenapa Penting untuk Bisnis Indonesia yang Pakai Agen AI?
Bisnis Indonesia yang baru adopsi agen AI sering terkena kejutan biaya saat traffic tiba tiba naik atau ketika provider LLM mengalami degradasi. Tanpa degraded mode, pengalaman pengguna langsung rusak dan task completion rate jatuh. Berdasarkan praktik yang saya pakai di beberapa proyek client di area Digital Transformation, degraded mode bisa menyelamatkan 25 sampai 40 persen sesi yang akan gagal akibat outage parsial.
Referensi teknis bagus untuk pola ini ada di dokumentasi Anthropic Claude tool use yang membahas pengelolaan tool call yang gagal.
Pertanyaan Umum
Apa beda degraded mode dengan circuit breaker?
Circuit breaker memutus sementara tool yang bermasalah supaya tidak terus dipanggil. Degraded mode menentukan jalur cadangan yang dipakai selama circuit breaker aktif. Keduanya saling melengkapi.
Apakah respons template di degraded mode terasa robotik untuk user?
Bisa terasa robotik kalau templatenya buruk. Praktik baik: siapkan 3 sampai 5 variasi template per intent, sisipkan konteks ringkas dari sesi, dan beri notifikasi halus bahwa agen sedang dalam mode terbatas.
Istilah Terkait