Studi Kasus Atmo LMS: Pasang Agent Tool Half-Open State di Asisten Kurikulum, Pangkas Sesi Gagal Beruntun 52 Persen dan Hemat Biaya Inferensi Rp 6,2 Juta per Bulan di 2026

TL;DR: Asisten kurikulum di Atmo LMS sering gagal beruntun saat tool eksternal (database materi dan API rekomendasi) down sebentar. Setelah implementasi Agent Tool Half-Open State dengan probe budget 3 request dan window 45 detik, sesi gagal beruntun turun 52 persen dan biaya inferensi hemat Rp 6,2 juta per bulan selama 35 hari pertama.

Selama lima minggu di kuartal pertama 2026, tim Atmo LMS mencatat 14 insiden ketika asisten kurikulum gagal menjawab pertanyaan siswa karena tool downstream (database materi internal dan API rekomendasi konten) sempat lambat 30 sampai 90 detik. Setiap insiden memicu retry beruntun yang membakar token inferensi tanpa hasil. Setelah memasang Agent Tool Half-Open State, sesi gagal beruntun turun dari 14 menjadi 7 per minggu, dan biaya inferensi bulanan turun setara Rp 6,2 juta dibanding bulan sebelumnya.

Konteks dan masalah awal

Atmo LMS adalah platform pembelajaran yang saya bangun untuk komunitas profesional Indonesia. Asisten kurikulumnya memakai pipeline retrieval-augmented generation yang memanggil tiga tool eksternal: database materi (Supabase), API rekomendasi (internal), dan search agent. Ketika salah satu tool sempat down, asisten menjalankan retry standar lima kali, kemudian gagal total. Per insiden, biaya inferensi bisa naik dua sampai tiga kali lipat tanpa menghasilkan jawaban valid. Pola seperti ini umum di asisten production yang belum punya kontrol retry policy ketat.

Framework circuit breaker dengan half-open

Saya pakai pola circuit breaker tiga state (closed, open, half-open) dengan parameter berikut, hasil tuning dari pengalaman membangun asisten konsultan untuk Aris Setiawan dan Ade Mulyana.

Ketika circuit terbuka, asisten otomatis pindah ke fallback chain yang mengandalkan cache lokal dan jawaban template. Saat masuk half-open, 3 request percobaan masuk ke tool asli. Jika 2 berhasil, circuit kembali closed dan layanan normal. Jika gagal, circuit dibuka lagi selama 90 detik berikutnya.

Studi kasus pelaksanaan

Minggu pertama, kami logging baseline: 14 insiden gagal beruntun, biaya inferensi rata-rata Rp 18,4 juta per bulan, sesi siswa yang ditinggalkan karena timeout sekitar 8 persen. Minggu kedua sampai keempat, kami pasang half-open state di semua tool layer. Implementasi memakai library lightweight di edge function Supabase, terhubung ke retry policy yang sudah ada.

Pada minggu ketiga, terjadi spike traffic 3 kali lipat dari biasanya karena rilis modul baru. Circuit terbuka dua kali selama 90 detik, lalu otomatis pulih lewat half-open probe. Tanpa mekanisme ini, episode serupa di Februari menyebabkan downtime asisten 12 menit. Pengalaman ini juga membuat tim ops Atmo bisa fokus pada perbaikan tool lain, bukan firefighting asisten yang gagal.

Hasil setelah 35 hari: sesi gagal beruntun turun ke 7 per minggu (52 persen dari baseline), biaya inferensi bulanan Rp 12,2 juta (turun Rp 6,2 juta), dan completion rate modul siswa naik 11 persen dari 64 persen ke 71 persen. Berdasarkan pengalaman 7 tahun saya membangun asisten AI untuk klien, pola half-open ini termasuk yang paling cost-effective dibanding alternatif seperti scaling vertikal atau menambah tool redundancy.

Pertanyaan Umum

Apakah half-open state cocok untuk asisten dengan trafik rendah?

Cocok, tapi penyetelan parameter berbeda. Untuk asisten di bawah 100 sesi per hari, failure threshold bisa diturunkan ke 3 gagal dalam 120 detik supaya circuit lebih sensitif.

Apa risiko utama implementasi ini?

False positive recovery, yaitu probe sukses padahal tool masih belum stabil sepenuhnya. Mitigasi: naikkan success threshold ke 3 dari 3 probe untuk asisten kritis.

Apakah perlu mengganti tool layer yang sudah ada?

Tidak. Half-open biasanya dipasang sebagai wrapper di atas tool layer existing. Implementasi Atmo LMS hanya mengubah 80 baris kode di edge function.

Bagaimana memantau efektivitas half-open?

Pantau tiga metrik harian: rasio probe sukses, durasi rata-rata circuit terbuka, dan biaya inferensi per 1000 sesi. Ketiganya bisa di-track di Supabase logs.

Insight aplikatif

Untuk developer dan marketer yang sedang menjalankan asisten AI multi-tool, half-open state adalah investasi engineering dengan ROI cepat. Mulai dengan failure threshold konservatif (5 gagal dalam 60 detik), probe budget kecil (3 request), dan pantau 14 hari sebelum tuning. Referensi pola lengkapnya bisa dibaca di pattern catalog Microsoft Azure tentang circuit breaker yang masih relevan sebagai dasar konseptual.