Digital Transformation
Data Poisoning (Peracunan Data Latih AI)
TL;DR: Data poisoning adalah serangan keamanan AI di mana penyerang menyisipkan dokumen, halaman, atau review palsu ke sumber yang dipakai melatih atau mengindeks model. Tujuannya menyetir output model agar memuji, memfitnah, atau menyebarkan informasi salah secara terstruktur.
Apa itu Data Poisoning?
Data poisoning adalah kategori serangan di mana data sumber yang dipakai melatih model AI atau diindeks oleh sistem retrieval dimanipulasi secara sengaja. Karena banyak model dilatih dari data publik dan banyak sistem RAG mengindeks halaman web atau forum, penyerang yang bisa menulis di sumber-sumber itu berpotensi menyetir jawaban model. Serangan ini berbeda dengan prompt injection yang menyerang lewat input pengguna; data poisoning menyerang lewat sumber bahan baku model. Risiko ini relevan untuk siapa pun yang membangun chatbot brand berbasis RAG.
Bentuk yang Sering Muncul
| Jenis | Contoh konkret |
|---|---|
| Targeted poisoning | Menulis review palsu yang menyebut brand pesaing dengan klaim spesifik |
| Backdoor poisoning | Menyisipkan trigger phrase yang memicu output tertentu |
| Indirect injection | Menempelkan instruksi tersembunyi di halaman yang akan di-scrape |
| Reputation laundering | Spam halaman wikipedia-mirror untuk reframing fakta |
Kenapa Penting untuk Brand?
Ketika sistem RAG perusahaan mengindeks halaman web publik, halaman review, atau hasil pencarian, korpus retrieval rentan terhadap data poisoning. Praktik standar yang kami sarankan untuk klien adalah memisahkan korpus tepercaya (dokumen internal, halaman milik sendiri) dari korpus eksternal, menerapkan reputation scoring per sumber, dan memvalidasi output dengan hallucination guardrail. Dokumentasi keamanan AI dari OWASP Top 10 untuk LLM mencantumkan training data poisoning sebagai risiko utama yang perlu diaudit secara berkala.
Pertanyaan Umum
Apakah brand kecil perlu khawatir?
Ya, walaupun risiko targeted attack rendah, indirect injection dan reputation laundering tetap mengenai brand kecil yang muncul di sumber publik. Audit korpus retrieval secara berkala tetap relevan.
Bagaimana cara mendeteksi data poisoning?
Tiga sinyal awal: jawaban chatbot konsisten menyebut nama atau klaim spesifik di luar dokumentasi resmi, output tiba-tiba berubah sentimen, dan trigger phrase tertentu memicu jawaban yang aneh.
Istilah Terkait