Context Engineering: Cara Tim Produk Indonesia Bikin Fitur AI Hemat dan Akurat di 2026

TL;DR: Context engineering adalah disiplin merancang seluruh isi context window LLM, bukan sekadar prompt. Termasuk retrieval, tool schema, system instruction, dan history. Tim produk Indonesia yang menerapkannya bisa memangkas biaya API 30-60 persen sambil meningkatkan konsistensi output, tanpa harus pindah ke model yang lebih kecil.

Saat saya mulai membantu tim Atmo membangun fitur tutor AI di tahun lalu, kami terjebak siklus yang familiar. Setiap kali pengguna komplain output tidak akurat, kami menambah satu paragraf instruksi di prompt. Setelah enam iterasi, prompt jadi 1.200 kata, biaya per percakapan naik dua kali lipat, dan kualitas malah turun. Akar masalahnya bukan prompt yang kurang detail. Tapi kami memperlakukan context window seperti satu kotak teks, bukan sebagai sistem.

Praktik context engineering di industri muncul untuk menjawab pola ini. Per April 2026, tim produk yang membangun fitur berbasis AI mulai mengukur token usage per komponen konteks dan menerapkan disiplin yang sama seperti memori di sistem operasi: alokasi sadar, pruning rutin, dan caching agresif.

Empat Komponen Konteks yang Perlu Direkayasa

Bayangkan context window sebagai meja kerja. Setiap komponen mengambil ruang dan harus dibenarkan keberadaannya. Empat komponen utama:

System instruction yang baik fokus pada role, batasan, dan format output. Bukan template generik yang dipakai untuk semua fitur.

Kasus Praktis: Memangkas 60 Persen Biaya di Atmo LMS

Saat membangun fitur penjelas konsep otomatis di Atmo, versi pertama mengirim seluruh kurikulum mata pelajaran ke konteks. Biaya per pertanyaan: sekitar 8.000 token input. Setelah audit konteks, kami terapkan tiga perubahan. Pertama, RAG dengan retrieval per topik, bukan per mata pelajaran. Kedua, prompt caching untuk system instruction yang stabil. Ketiga, summarization history setiap 5 turn percakapan.

Hasil setelah tiga minggu: token input rata-rata turun ke 2.800 per pertanyaan. Biaya bulanan turun sekitar 62 persen. Yang lebih penting, akurasi jawaban naik karena konteks yang dikirim ke model jauh lebih relevan dengan pertanyaan spesifik.

Pola yang Sering Terlupakan

Tool schema yang berlebihan adalah masalah diam-diam yang menggerogoti budget. Setiap deskripsi tool ikut masuk konteks setiap kali model dipanggil. Tim yang memuat 30 tool sekaligus padahal hanya 3 yang relevan dengan request, membuang ribuan token per call. Solusinya: routing layer yang memilih subset tool berdasarkan intent klasifikasi awal.

History yang tidak di-prune menyebabkan context rot. Percakapan panjang membawa sinyal kontradiktif yang membingungkan model. Praktik standar: summarization otomatis setiap 5-10 turn, dan reset hard kalau topik berubah. Anthropic membahas pola ini di panduan context engineering mereka.

Cara Tim Kecil Memulai

Tidak perlu infrastruktur kompleks. Mulai dengan tiga langkah:

1. Audit token usage: log token input per komponen di 1 minggu sample. Identifikasi 20 persen komponen yang menghabiskan 80 persen token.
2. Aktifkan prompt caching: untuk system instruction yang stabil. Implementasinya satu hari, savings langsung terlihat.
3. Pisahkan retrieval per intent: ganti retrieval generik dengan retrieval kondisional berdasarkan klasifikasi pertanyaan awal.

Tim 2-3 orang bisa selesai siklus pertama dalam 2 minggu. Setelah itu, model evaluation terstruktur memandu iterasi berikutnya tanpa harus menebak.

Pertanyaan Umum

Apakah context engineering hanya untuk tim besar dengan banyak user?

Tidak. Justru tim kecil paling diuntungkan karena setiap rupiah biaya API berdampak signifikan. ROI optimasi konteks lebih cepat di skala kecil.

Lebih baik pindah ke model murah atau optimasi konteks dulu?

Optimasi konteks dulu. Pindah model murah tanpa membenahi konteks sering menurunkan kualitas tanpa savings yang sepadan. Setelah konteks bersih, baru evaluasi model yang lebih ringan.

Berapa lama investasi context engineering biasanya balik modal?

Berdasarkan praktik di proyek client, savings dari prompt caching dan retrieval optimization terlihat di minggu pertama. Investasi penuh termasuk evaluasi balik modal di bulan kedua untuk volume di atas 100 ribu request per bulan.

Apakah perlu tool khusus atau cukup dengan kode sendiri?

Tim awal cukup dengan kode sendiri plus logging token usage. Tools observability seperti Helicone atau Langfuse berguna saat skala sudah konsisten dan tim ingin melihat tren lintas eksperimen.

Penutup

Context engineering bukan tren musiman, tapi pergeseran cara berpikir dari "tulis prompt yang sempurna" ke "rancang sistem konteks yang sehat". Tim Indonesia yang membangun fitur AI di 2026 dan tidak menerapkan disiplin ini akan kalah dalam dua hal: biaya dan konsistensi. Mulai dari audit token, lanjut ke caching dan retrieval kondisional. Sisanya akan terbentuk seiring iterasi.