Studi Kasus Ade Mulyana: Turunkan Agent Tool Quota Saturation Asisten Konsultan Pajak dari 0,91 ke 0,68 dan Pangkas Task Gagal 41 Persen dalam 28 Hari di 2026

TL;DR: Asisten AI konsultan pajak Ade Mulyana awalnya mengalami saturasi kuota tool 0,91 (sangat kritikal), membuat 23 persen sesi gagal sebelum jawaban final tersampaikan. Setelah 28 hari tuning yang fokus ke retry budget, degraded mode, dan instrumentasi, saturasi turun stabil ke 0,68 dan rasio task gagal turun 41 persen tanpa pengurangan kualitas jawaban.

Ade Mulyana adalah konsultan pajak independen di Jakarta yang memakai asisten AI untuk membantu klien UMKM memahami SPT Tahunan. Asisten ini memanggil tool pencarian peraturan, kalkulator pajak, dan database tarif PPh. Awal 2026, Ade melapor: "asisten sering berhenti di tengah jalan, klien harus mengulang dari awal."

Setelah dipasang instrumentasi sederhana, ketahuan akar masalahnya bukan kualitas model, melainkan Agent Tool Quota Saturation yang tidak pernah diukur.

Diagnostik Awal: Saturasi 0,91 dan Implikasinya

Selama 7 hari pertama, log 1.842 sesi diolah di spreadsheet. Hasil baseline:

• Saturasi rata-rata: 0,91 dari kuota 60 tool call/sesi.
• Sesi yang mencapai 100% kuota: 17 persen.
• Sesi gagal dengan output "tidak lengkap": 23 persen.
• Rata-rata Agent Tool Retry Budget per sesi: 11 retry (terlalu tinggi).

Pola jelas: retry budget tidak diatur, asisten loop di tool kalkulator yang kadang timeout, dan tidak ada Agent Tool Degraded Mode untuk mengembalikan jawaban parsial.

Tiga Intervensi 28 Hari

Intervensi minggu 3 paling berdampak. Saat tool kalkulator gagal 2x berturut, asisten otomatis menyajikan tarif baseline dengan disclaimer eksplisit, alih-alih memaksa retry sampai kuota habis. Klien Ade tetap mendapat jawaban, walau dengan catatan.

Studi Kasus Detail: Sesi Khas Sebelum dan Sesudah

Sebelum tuning, sesi khas memakai 54 dari 60 tool call untuk pertanyaan "berapa PPh 21 saya kalau gaji 8 juta." Hampir habis kuota karena 9 retry kalkulator + 14 search peraturan tumpang tindih.

Sesudah tuning, sesi sama memakai 19 tool call: 3 search terstruktur, 1 kalkulasi sukses, 2 retry maksimum, 1 fallback ke tarif baseline. Sisa kuota tersedia untuk follow-up klien tanpa restart sesi.

Hasil 28 Hari (per Mei 2026)

Data dari log Ade, periode 1-28 Mei 2026, total 6.317 sesi:

• Saturasi rata-rata: 0,91 turun ke 0,68 (turun 25%).
• Task gagal: 23% turun ke 13,5% (turun 41%).
• Token inferensi per sesi: turun 28% (efek samping fewer retry).
• Skor NPS klien Ade naik dari 6,2 ke 7,9.

Catatan keterbatasan: dataset Ade berasal dari satu konsultan, hasil dapat berbeda untuk asisten yang menangani volume jauh lebih besar atau industri lain. Referensi praktik: OpenAI Tool Use Best Practices dan Anthropic Tool Use.

Pertanyaan Umum

Apakah hasil ini bisa direplikasi tanpa engineering team?

Sebagian besar bisa. Cap retry budget dan degraded mode bisa diatur lewat config prompt + middleware ringan. Hanya circuit breaker yang butuh logika tambahan di runtime.

Bagaimana dengan asisten yang tidak memakai tool eksternal?

Konsep saturasi tetap relevan: ganti "tool call" dengan "function execution" atau "search query." Prinsip cap, fallback, dan instrumentasi sama.

Berapa lama interval audit yang ideal?

Bulanan untuk volume di bawah 10 ribu sesi/bulan, mingguan untuk volume lebih besar. Cukup grep log dan plot saturasi di spreadsheet.

Yang Diajarkan Studi Kasus Ini

Saturasi kuota tool bukan masalah model AI, melainkan masalah operations. Tanpa instrumentasi, asisten "gagal misterius"; dengan satu spreadsheet dan tiga intervensi sederhana, Ade mengubah pengalaman klien tanpa mengganti model atau menambah biaya inferensi. Untuk konsultan independen atau marketer yang mengoperasikan asisten AI sendiri, audit saturasi adalah investasi waktu 60 menit yang sering memberi return paling besar.