Digital Transformation
Agent Tool Budget Arbitration
TL;DR: Agent Tool Budget Arbitration mengalokasikan budget token, latency, dan biaya antar tool dalam satu sesi agent secara dinamis. Tool prioritas tinggi mendapat alokasi awal lebih besar, sisa budget direlokasi ke tool sekunder hanya jika tool utama menyelesaikan tugas di bawah threshold.
Apa itu Agent Tool Budget Arbitration?
Agent Tool Budget Arbitration menjadi penting saat satu sesi asisten AI memanggil 3 atau lebih tool secara berurutan. Tanpa arbitrase, tool pertama bisa habiskan 80 persen budget token, lalu tool berikutnya gagal karena context window terlalu sempit. Mekanisme ini melengkapi Agent Tool Fallback Budget dan Agent Tool Circuit Budget.
Dalam praktik di asisten Nalesha (e-commerce parfum), kami menetapkan arbitrase 3 tier: search produk dapat 40 persen budget, recommendation engine 35 persen, dan formatter output 25 persen. Tool sekunder hanya boleh mengambil sisa budget jika tier sebelumnya selesai di bawah 80 persen alokasi.
Cara Kerja & Komponen Utama
| Tier | Tool | Alokasi Awal | Trigger Realokasi |
|---|---|---|---|
| 1 | Search/Retrieval | 40-50 persen | Selesai di bawah 80 persen alokasi |
| 2 | Reranker/Filter | 25-35 persen | Selesai di bawah 80 persen alokasi |
| 3 | Formatter/Output | 20-25 persen | Tidak boleh ambil dari sisa |
Kenapa Penting?
Tanpa arbitrase, biaya inferensi bisa membengkak 30-50 persen karena tool boros mendominasi budget. Untuk produk skala UMKM Indonesia dengan margin tipis, arbitrase membantu jaga biaya tetap prediktabel. Lihat dokumentasi Anthropic tentang tool use budgeting.
Pertanyaan Umum
Apakah arbitrase ini static atau dynamic?
Dynamic. Alokasi awal di-set per tier, lalu sistem boleh realokasi berdasarkan konsumsi aktual setiap tool.
Apa bedanya dengan Circuit Budget?
Circuit Budget membatasi total budget per sesi (cap absolut). Budget Arbitration mendistribusikan budget tersebut antar tool secara prioritas.