Digital Transformation
Prompt Budget (Anggaran Token per Prompt AI Search)
TL;DR: Prompt budget adalah batas total token yang dialokasikan untuk satu prompt pada mesin AI Search atau aplikasi LLM. Anggaran ini meliputi konteks sistem, hasil retrieval, riwayat percakapan, dan output. Tim marketing dan produk pakai metrik ini untuk menjaga biaya inference tetap terkontrol tanpa mengorbankan kualitas jawaban.
Apa itu Prompt Budget?
Prompt budget adalah alokasi token maksimum yang boleh dipakai satu pemanggilan ke model bahasa besar (LLM). Komponennya: instruksi sistem, konteks retrieval, histori dialog, query pengguna, dan ruang kosong untuk output. Konsep ini muncul karena setiap model punya batas jendela konteks dan setiap token punya biaya.
Analoginya seperti anggaran iklan harian di Google Ads. Jika dipakai habis tanpa strategi, kampanye berhenti sebelum target tercapai. Sama halnya, prompt yang melebihi anggaran akan dipotong atau membuat respons jadi tidak lengkap.
Komponen Prompt Budget
| Komponen | Porsi Tipikal | Catatan |
|---|---|---|
| Instruksi sistem | 5-10% | Definisi peran dan aturan |
| Konteks retrieval | 40-60% | Hasil pencarian dokumen relevan |
| Histori dialog | 10-25% | Tergantung mode percakapan |
| Output reserved | 15-25% | Ruang untuk jawaban model |
Angka di atas adalah rentang umum dari pengalaman membangun RAG pipeline untuk produk klien. Distribusi nyata bergantung pada use case.
Kenapa Penting?
Brand yang muncul di AI Search bersaing tidak hanya pada relevansi konten, tapi juga pada efisiensi pemakaian token saat dijadikan sumber. Konten yang ringkas, terstruktur, dan kaya entitas masuk ke anggaran lebih banyak dibanding artikel panjang berbelit. Untuk marketer Indonesia, ini berarti format paragraf self-contained dan penggunaan schema markup memperbesar peluang dikutip dalam prompt budget yang terbatas.
Pada sisi produk, prompt budget yang dikelola baik menurunkan biaya per pertanyaan dan mempercepat latensi jawaban. Standar industri menempatkan target latensi jawaban AI di bawah 3 detik untuk pengalaman pengguna yang dianggap responsif.
Pertanyaan Umum
Apakah prompt budget sama dengan token budget?
Tidak persis. Token budget adalah kapasitas total per model atau per sesi, sementara prompt budget adalah alokasi spesifik untuk satu pemanggilan prompt.
Bagaimana cara mengukur prompt budget?
Pakai tokenizer resmi dari penyedia model untuk menghitung jumlah token tiap komponen, lalu bandingkan dengan batas jendela konteks model yang dipakai.
Istilah Terkait