Studi Kasus Nalesha: Pasang Agent Tool Fallback Budget di Asisten E-commerce Parfum, Pangkas Biaya Inferensi 31 Persen dan Naikkan Task Completion Rate 17 Persen di 2026

TL;DR: Nalesha, brand parfum e-commerce, sebelumnya membiarkan asisten AI mereka memanggil tool fallback tanpa batas saat API stok atau pembayaran gagal. Setelah memasang Agent Tool Fallback Budget dengan batas 2-3 fallback per task, biaya inferensi turun 31 persen dan task completion rate naik 17 persen dalam 28 hari.

Saat membangun fitur asisten checkout untuk Nalesha pada Q1 2026, tim teknis melihat pola yang merepotkan: ketika API stok gagal, asisten otomatis mencoba mirror API, lalu cache snapshot, lalu fallback ke FAQ statis, lalu kembali lagi ke mirror. Dalam beberapa kasus, satu task menghabiskan 9-12 pemanggilan tool sebelum berhasil atau menyerah. Biaya per task melonjak dan latensi user-facing menyentuh 14 detik.

Masalahnya bukan kualitas tool atau prompt. Masalahnya tidak ada budget eksplisit untuk fallback.

Konteks Masalah

Nalesha menjual parfum dengan SKU lebih dari 80, dan inventori dinamis. Asisten AI menjawab pertanyaan stok, ukuran botol, dan estimasi pengiriman. Saat tool utama (API stok internal) gagal karena rate limit atau timeout, agent memakai sistem fallback chain berikut:

1. Mirror API di edge region terdekat
2. Snapshot cache 5 menit
3. Database read-replica
4. FAQ statis

Tanpa budget, agent rentan loop antara node 1 sampai 3 ketika ketiganya intermitten. Praktik standar di industri AI agent ops menyebut batas 1 sampai 3 fallback cukup untuk operasi non-kritis, dan 2 sampai 4 untuk task kritis seperti checkout. Detail standar bisa dilihat di panduan Anthropic tentang tool use dan agent design.

Solusi yang Diterapkan

Implementasi dilakukan via wrapper middleware sederhana di Node.js, dipadukan dengan Agent Tool Circuit Breaker untuk tool yang sudah gagal 3 kali berturut-turut dalam 60 detik.

Hasil 28 Hari

Pengukuran dilakukan dengan baseline 14 hari sebelum implementasi dan 28 hari sesudah. Variabel lain (volume traffic, copy prompt, model version) dijaga konstan.

• Biaya inferensi per task turun dari rata-rata Rp 1.450 ke Rp 1.000, atau penghematan 31 persen
• Task completion rate naik dari 64 persen ke 75 persen, atau peningkatan 17 persen relatif
• Latensi p95 turun dari 14 detik ke 7,2 detik
• Customer Satisfaction Score (CSAT) naik 0,4 poin dari 4,1 ke 4,5

Angka-angka di atas spesifik untuk konteks Nalesha (kategori parfum, traffic harian sekitar 8 ribu sesi). Hasil bisa bervariasi tergantung kompleksitas tool chain dan ukuran katalog. Sumber rujukan tambahan dapat dibaca di riset McKinsey tentang AI agent ROI di e-commerce.

Pertanyaan Umum

Apakah fallback budget perlu untuk semua jenis bisnis?

Tidak. Untuk bisnis dengan volume task harian di bawah 500, dampak finansial fallback loop biasanya kecil. Mulai dari batas longgar dan ketatkan saat volume tumbuh.

Bagaimana menetapkan budget yang tepat?

Mulai dari 3 fallback per task, ukur 14 hari, lalu turunkan ke 2 jika rasio penyelesaian masih sehat. Pantau Agent Tool Call Success Rate sebagai sinyal.

Apakah eskalasi ke human agent menurunkan CSAT?

Sebaliknya. Saat eskalasi cepat (di bawah 8 detik) dan kontekstual, CSAT cenderung naik karena pelanggan merasa permintaannya ditangani serius, bukan diulur oleh bot.

Penutup: Budget Itu Disiplin, Bukan Pembatas

Banyak tim takut memasang batas fallback karena khawatir kehilangan task. Pengalaman Nalesha menunjukkan kebalikannya: batas yang jelas justru menaikkan penyelesaian dan menurunkan biaya. Disiplin budget membuat agent berpikir kapan harus menyerah, bukan terus mencoba di jalan yang sama.