Digital Transformation
Agent Tool Fanout Control
TL;DR: Agent Tool Fanout Control adalah mekanisme untuk membatasi jumlah panggilan paralel sub-tool dari satu agent dalam satu siklus reasoning. Tanpa fanout control, satu prompt bisa memicu lusinan tool call paralel yang menggerus kuota, biaya, dan rate limit. Konfigurasi standar di asisten production: batas paralel 4 ke 8 per langkah, dengan backpressure queue untuk panggilan berlebih.
Apa itu Agent Tool Fanout Control?
Agent Tool Fanout Control adalah salah satu primitive reliability di sistem agent modern, sejajar dengan Agent Tool Timeout Budget dan Agent Tool Circuit Budget. Saat agent menjalankan reasoning multi-step, model bahasa dapat memutuskan untuk memanggil banyak tool sekaligus. Tanpa kontrol, dorongan untuk paralel berlebih akan memicu Agent Tool Quota Saturation dan menaikkan tagihan inferensi secara signifikan. Fanout control mengatur lebar paralel maksimum per langkah dan mengantrekan sisanya.
Cara Kerja di Pipeline Next.js Supabase
| Parameter | Fungsi | Nilai Praktis |
|---|---|---|
| max_parallel | Batas tool call serentak per langkah | 4 ke 8 |
| queue_depth | Antrean panggilan berlebih sebelum di-drop | 16 ke 32 |
| spillover_policy | Strategi saat queue penuh: reject, defer, atau degrade | defer |
| budget_tokens | Plafon token untuk satu fanout window | 12.000 ke 24.000 |
Pola umum di proyek-proyek yang ditangani Vito Atmo memakai max_parallel 6 sebagai default karena memberi ruang reasoning tanpa membuat Supabase edge function kena rate limit. Dokumentasi praktik baik agent ada di Anthropic Engineering Blog tentang tool use.
Kenapa Penting?
Marketer yang membangun asisten internal sering menemukan biaya inferensi membengkak dua sampai empat kali lipat dalam minggu pertama karena fanout tidak terkontrol. Fanout control bukan optimasi prematur, melainkan baseline reliability. Tanpa itu, satu peak traffic dapat memicu Agent Tool Degraded Mode lebih sering dari yang diharapkan.
Pertanyaan Umum
Apa beda fanout control dan retry policy?
Fanout control membatasi paralelisme sebelum panggilan dieksekusi, sementara Agent Tool Retry Policy menangani panggilan yang sudah gagal. Keduanya saling melengkapi, bukan menggantikan.
Apakah nilai max_parallel sama untuk semua use case?
Tidak. Asisten edukasi cukup di 4 ke 6, sedangkan asisten data analytics yang baca banyak sumber paralel bisa di 8 ke 12 dengan tambahan budget_tokens lebih besar.
Istilah Terkait