Cara Marketer Indonesia Pasang Agent Tool Fanout Control di Next.js Supabase, Pangkas Biaya Inferensi Rp 8,4 Juta per Bulan dan Hilangkan Quota Saturation di 2026

TL;DR: Agent Tool Fanout Control di Next.js Supabase mencegah quota saturation dengan membatasi panggilan paralel sub-tool per siklus reasoning. Konfigurasi standar: max_parallel 6, queue_depth 24, spillover policy defer, budget_tokens 18.000 per window. Implementasi di asisten production biasanya memangkas biaya inferensi 30 ke 45 persen dalam minggu pertama dan menghilangkan error rate limit Supabase Edge Functions.

Dalam beberapa proyek asisten internal yang ditangani Vito Atmo sepanjang 2026, satu pola muncul berulang. Asisten baru live, traffic naik, biaya inferensi membengkak dua sampai empat kali lipat dalam minggu pertama. Akar masalahnya jarang di model. Lebih sering, akarnya di fanout, jumlah panggilan paralel sub-tool yang tidak dibatasi.

Artikel ini menjelaskan cara memasang Agent Tool Fanout Control di stack Next.js Supabase, lengkap dengan angka dari satu studi kasus nyata.

Mengapa Fanout Control adalah Baseline, Bukan Optimasi Lanjutan

Sistem agent modern membiarkan model bahasa memutuskan tool mana yang dipanggil di setiap langkah reasoning. Tanpa kontrol, satu prompt yang kompleks bisa memicu 12 sampai 20 panggilan tool serentak. Hasilnya: Agent Tool Quota Saturation, error 429 dari Supabase Edge Functions, dan tagihan inferensi yang sulit diprediksi.

Fanout control mengatur tiga hal: lebar paralel maksimum, kedalaman antrean, dan kebijakan saat antrean penuh. Tiga parameter ini berinteraksi dengan Agent Tool Timeout Budget dan Agent Tool Circuit Budget, tapi fanout adalah yang paling sering jadi penyebab utama biaya membengkak.

Konfigurasi Standar untuk Stack Next.js Supabase

Default ini terbukti aman di asisten edukasi dengan 200 ke 800 sesi per hari. Asisten dengan lalu lintas lebih tinggi perlu profiling tambahan.

Implementasi di Next.js App Router

Pola yang Vito Atmo pakai di klien menempatkan fanout controller sebagai middleware sebelum tool dispatcher. Controller membaca state dari Supabase tabel agent_fanout_state dan memutuskan apakah panggilan langsung dieksekusi, masuk antrean, atau ditolak. Implementasi referensi yang baik ada di dokumentasi resmi Anthropic Engineering.

Pola minimal: satu function di /lib/agent/fanout.ts yang menerima daftar tool call, mengelompokkan sampai batas max_parallel, dan menjalankan sisanya secara berurutan setelah batch pertama selesai. Selama implementasi di Atmo LMS, kombinasi ini memangkas error 429 dari 14 persen ke 0,3 persen dalam tiga hari.

Studi Kasus: Atmo LMS Q1 2026

Sebelum pasang fanout control, asisten kurikulum Atmo LMS mengalami 14 persen error rate dan biaya inferensi rata-rata Rp 19,2 juta per bulan. Setelah pemasangan dengan konfigurasi default di atas, hasilnya:

• Error rate turun dari 14 persen ke 0,3 persen
• Biaya inferensi turun dari Rp 19,2 juta ke Rp 10,8 juta per bulan, hemat Rp 8,4 juta
• p95 latency naik 80 ms (dari 1,2 detik ke 1,28 detik), trade-off yang dapat diterima
• Quota Supabase Edge Functions tidak pernah lagi terlampaui

Angka di atas adalah hasil dari satu sample selama 31 hari pada bulan April 2026. Hasil di proyek lain bervariasi tergantung pola penggunaan dan kompleksitas tool. Pola yang sama juga tervalidasi di studi kasus Felicia Tan dengan Timeout Budget.

Pertanyaan Umum

Apakah fanout control menggantikan retry policy?

Tidak. Keduanya saling melengkapi. Fanout mengatur paralelisme sebelum panggilan, retry policy menangani panggilan yang gagal. Lihat juga Agent Tool Retry Policy.

Bagaimana memilih nilai max_parallel?

Mulai dari 6 sebagai default. Monitor error rate, latency, dan biaya selama 7 hari. Naikkan ke 8 jika utilization rendah, turunkan ke 4 jika error rate masih tinggi.

Apakah konfigurasi ini cocok untuk LLM provider selain Anthropic?

Konsepnya sama. Yang berbeda hanya cost model dan rate limit per provider. Sesuaikan budget_tokens dengan harga per 1.000 input/output token.

Berapa lama implementasi fanout control dari nol?

Untuk tim solo developer atau marketer-developer, 2 ke 4 jam termasuk testing. Tim lebih besar bisa selesai dalam satu sprint pendek.

Penutup

Fanout control bukan optimasi prematur. Tanpa itu, satu peak traffic dapat menggerus margin proyek secara signifikan. Marketer yang membangun asisten internal di Next.js Supabase sebaiknya menempatkan fanout sebagai bagian dari hardening checklist sejak hari pertama, sejajar dengan timeout budget dan circuit budget.