LLM Context Poisoning: Risiko Tersembunyi RAG Brand Indonesia 2026

TL;DR: LLM Context Poisoning adalah serangan saat instruksi atau data palsu menyusup ke konteks model bahasa via dokumen RAG, output tool, atau memori percakapan, lalu memengaruhi jawaban resmi brand. Mitigasinya butuh tiga lapis: sanitasi konten sumber, pemisahan konteks tepercaya, dan eval harness yang mensimulasikan dokumen tercemar. Brand Indonesia yang mulai serius dengan chatbot AI di 2026 wajib menjadikan ini bagian dari checklist deploy, bukan urusan nanti.

Dalam beberapa proyek chatbot yang saya tangani sepanjang Q1 2026, satu pola muncul berulang: tim marketing fokus pada akurasi awal, sementara keamanan konteks sering dianggap urusan engineering saja. Konsekuensinya baru terasa saat dokumen pendukung ikut menyusup membawa instruksi yang tidak diinginkan.

Ini cerita pendek yang relevan. Saat menyiapkan asisten AI untuk Atmo, saya pernah menemukan satu halaman bantuan yang isinya sebagian besar normal, tapi mengandung satu paragraf footer berbunyi instruksi setengah-bercanda dari penulis lama. Begitu halaman itu masuk ke index RAG, jawaban chatbot soal kebijakan refund mulai menambahkan klausul yang tidak pernah disetujui legal. Itulah context poisoning dalam bentuk paling ringan.

Tiga Jalur Masuk yang Jarang Dibahas

LLM Context Poisoning bukan teknik tunggal. Ada tiga jalur yang paling sering muncul di brand Indonesia.

Jalur pertama, dokumen RAG yang tercemar. Halaman publik perusahaan yang sengaja atau tidak memuat instruksi tersembunyi, seperti komentar HTML lama, footer marketing campaign yang sudah usang, atau konten yang di-paste dari prompt template. Saat dokumen itu di-embed dan masuk konteks, model membacanya sebagai instruksi sah.

Jalur kedua, output tool dari API pihak ketiga. Saat agen Anda memanggil API yang mengembalikan teks bebas, isi response itu masuk konteks dan bisa berisi muatan berbahaya. Ini lebih sulit dideteksi karena penyerang tidak perlu menyentuh dokumen brand.

Jalur ketiga, memori percakapan jangka panjang. User mengakumulasi instruksi lintas sesi yang lambat laun menggeser perilaku model. Tanpa kebijakan retensi yang tegas, agen bisa "diajari" berperilaku menyimpang.

Framework Mitigasi 3 Lapis

Lapisan paling sering diabaikan adalah pemisahan konteks. Banyak tim memasukkan dokumen RAG dan input user ke jendela konteks yang sama tanpa marker. Praktik yang lebih aman: bungkus dokumen retrieved dalam tag XML, lalu instruksikan model bahwa hanya teks di luar tag yang boleh dieksekusi sebagai perintah. Pendekatan ini direkomendasikan dalam dokumentasi keamanan model bahasa Anthropic.

Studi Kasus Sederhana dari Vetmo

Saat membangun Vetmo, layanan untuk kebutuhan hewan peliharaan, saya menyiapkan asisten AI yang bisa menjawab pertanyaan soal vaksinasi dan jadwal kontrol. Konten sumbernya datang dari blog dan FAQ produk yang ditulis oleh tim editorial.

Awalnya semua mulus. Sampai satu hari, tim CS melaporkan jawaban chatbot soal harga vaksin bergeser dari range yang sudah disepakati. Investigasi menemukan satu artikel blog lama yang masih punya footer test berisi placeholder harga. Footer itu masuk konteks dan dianggap sebagai informasi sah.

Solusinya bukan menulis ulang seluruh blog, tapi menerapkan tiga hal: pre-processing yang strip footer test, marker XML pada dokumen retrieved, dan satu skenario eval baru yang khusus mengetes apakah model masih bisa terpengaruh footer mencurigakan. Setelah deploy, akurasi jawaban harga kembali konsisten di kisaran yang disepakati.

Pertanyaan Umum

Apakah context poisoning bisa terjadi tanpa niat jahat dari penyerang?

Bisa. Banyak kasus context poisoning di brand Indonesia justru tidak disengaja, datang dari konten lama, footer test, atau placeholder yang lupa dibersihkan. Klasifikasinya tetap sama: data tidak tepercaya yang masuk konteks tepercaya.

Apakah RAG tetap aman dipakai?

Tetap aman, asal disertai disiplin sanitasi sumber dan pemisahan konteks. Risiko context poisoning bukan alasan untuk meninggalkan RAG, melainkan pengingat bahwa keamanan konten sumber adalah prasyarat, bukan opsi.

Berapa biaya tambahan untuk mitigasi 3 lapis?

Mitigasi paling banyak butuh waktu engineering 1-3 hari kerja untuk setup pipeline pre-processing dan eval baseline, ditambah review konten sumber yang tergantung volume. Investasi ini umumnya jauh lebih kecil dibanding biaya pemulihan reputasi setelah insiden.

Bagaimana cara mendeteksi insiden yang sudah terjadi?

Audit log percakapan secara periodik, bandingkan jawaban chatbot dengan jawaban referensi, dan jalankan A/B sederhana antara model dengan-tanpa filter sanitasi. Drift jawaban yang konsisten ke arah tertentu adalah sinyal awal.

Disiplin yang Harus Dibangun, Bukan Tools yang Harus Dibeli

Risiko context poisoning bukan masalah yang selesai dengan membeli satu produk keamanan. Ini soal disiplin operasional: siapa yang mengaudit konten sumber, kapan refresh embedding, dan bagaimana eval harness menjadi bagian dari cycle deploy. Brand yang menjadikan tiga hal ini rutin akan punya chatbot yang tetap bisa dipercaya seiring volume konten bertambah.