Studi Kasus Atmo LMS: Pasang Agent Tool Cancellation Budget 2 per Sesi di Asisten Kurikulum, Pangkas Cascading Retry 58 Persen dan Hemat Inferensi Rp 5,9 Juta per Bulan dalam 33 Hari di 2026

TL;DR: Asisten kurikulum Atmo LMS mengalami cascading retry akut setelah user mulai sering membatalkan eksekusi tool transaksional. Implementasi Agent Tool Cancellation Budget 2 cancellation per sesi 12 menit memangkas cascading retry 58 persen dan menghemat inferensi Rp 5,9 juta per bulan dalam 33 hari. Solusinya bukan menambah retry, justru membatasi cancellation.

Saat membangun asisten kurikulum Atmo LMS, tim observasi pola yang aneh: biaya inferensi naik 31 persen di minggu ke-5 padahal jumlah sesi user stagnan. Setelah audit, ternyata penyebabnya bukan model upgrade, tapi loop cancel-retry yang silent. User membatalkan tool di tengah, agent mencoba ulang, gagal lagi, retry lagi. Per April 2026, pola ini disebut cascading retry storm di dokumentasi AWS Builders Library, dan biaya silentnya bisa 2-3 kali baseline.

Artikel ini membedah implementasi Agent Tool Cancellation Budget di pipeline Atmo LMS, lengkap dengan threshold dan dampaknya.

Masalah: Loop Cancel-Retry yang Tidak Terlihat

Asisten kurikulum Atmo LMS punya tool transaksional: enroll-student, schedule-class, send-reminder. User behavior yang sering: mulai enroll, ragu, klik back, lalu coba enroll lagi dari awal. Tool yang sedang berjalan ter-cancel mid-flight, state setengah tertulis, retry trigger, dan agent mencoba lagi dengan konteks yang sudah corrupt.

Telemetry awal:

Solusi: Cancellation Budget 2 per Sesi

Tim memasang budget 2 cancellation per sesi 12 menit. Setelah budget habis, sistem masuk state saturated dan trigger Agent Tool Circuit Breaker Window selama 90 detik. Selama window ini, request baru otomatis fallback ke Agent Tool Degradation Policy tingkat 2 (manual confirm step, no auto-retry).

Implementasi di Next.js Supabase:

async function checkCancellationBudget(sessionId: string) {
  const { count } = await supabase
    .from("tool_cancellations")
    .select("*", { count: "exact" })
    .eq("session_id", sessionId)
    .gte("created_at", new Date(Date.now() - 12 * 60 * 1000).toISOString());
  return count < 2;
}

Pipeline juga ditambahkan LLM Context Rotation Budget 18 persen supaya konteks instruksi sistem tetap pinned saat circuit breaker aktif.

Hasil

Setelah 33 hari observasi:

Dampak sekunder: support ticket terkait "asisten lambat merespon" turun 41 persen.

Pelajaran

Tiga insight aplikatif yang bisa dipakai marketer dan developer Indonesia:

Pertama, cascading retry sering invisible di dashboard biasa karena setiap retry kelihatan sukses individual. Telemetry per-sesi penting. Kedua, solusi intuitif (tambah retry budget) justru memperparah, batasi cancellation lebih efektif. Ketiga, pasangkan dengan LLM Citation Decay tracking untuk konten dokumentasi tool, supaya user pakai versi tool yang aktual.

Pertanyaan Umum

Apakah budget 2 berlaku universal?

Tidak. Atmo LMS sesi-nya rata-rata 12 menit dengan 3-4 tool calls. Untuk asisten dengan sesi lebih panjang (booking kompleks, konsultasi), budget bisa naik ke 3-4 per sesi.

Apa yang terjadi jika user butuh cancel lebih dari 2 kali?

Saat budget habis, sistem masuk degradation tingkat 2: setiap aksi butuh manual confirm dari user. User tetap bisa lanjut, tapi tanpa auto-retry. Ini lebih lambat tapi state-nya konsisten.

Bagaimana cara monitor cascading retry?

Tabel tool_cancellations di Supabase plus dashboard yang plot ratio retry-after-cancel per sesi. Threshold alert: ratio di atas 50 persen sustained 3 hari.

Penutup

Cancellation Budget sederhana, tapi dampaknya bisa signifikan untuk pipeline agent yang sudah scale. Yang menarik di Atmo LMS, perbaikan ini juga menaikkan trust user, mereka melihat sistem yang stabil walau lebih konservatif.