Prompt Rot pada Produk AI Indonesia: Cara Evaluasi Rutin Supaya Output Tidak Pelan-Pelan Memburuk di 2026

TL;DR: Prompt Rot adalah penurunan akurasi output AI seiring waktu meskipun prompt tidak diubah, biasanya karena update model atau pergeseran data. Tim produk Indonesia yang mengandalkan AI untuk customer support, lead qualification, atau generasi konten harus memperlakukan prompt seperti kode: ada versioning, ada eval set, dan review tiap 4 sampai 8 minggu.

Saat membangun fitur AI di beberapa proyek client, saya melihat fenomena yang awalnya saya pikir kebetulan. Prompt yang dulu menghasilkan jawaban tepat tiba-tiba mulai memberi respons yang melenceng. Tidak ada error log, tidak ada perubahan kode, tapi metric kepuasan pelan-pelan turun. Setelah investigasi, polanya konsisten: prompt rot, sebuah ancaman senyap yang jarang dibicarakan tim produk Indonesia.

Kenapa Prompt Rot Sering Tidak Terdeteksi

Prompt rot sulit terdeteksi karena tidak ada sinyal eksplisit seperti error 500. Yang terjadi adalah penurunan kualitas yang gradual: jawaban yang sedikit kurang relevan, klasifikasi yang sedikit kurang akurat, atau ringkasan yang sedikit kehilangan konteks. Ketika tim sadar, biasanya sudah terjadi berbulan-bulan dan dampaknya sudah meluas ke retention.

Berdasarkan praktik evaluasi LLM yang saya pakai, ada tiga penyebab utama prompt rot di produk komersial. Pertama, update model dari penyedia. OpenAI dan Anthropic merilis versi baru tiap beberapa bulan, dan interpretasi instruksi bisa bergeser. Kedua, perubahan data dasar di sistem RAG, misalnya katalog bertambah, dokumen di-update, sehingga konteks yang dulu lengkap jadi kurang. Ketiga, pergeseran intent pengguna seiring produk berkembang, sehingga edge case lama jadi mainstream.

Tanda-Tanda Prompt Rot di Dashboard

Saat saya bantu fitur AI di Atmo, kami sempat melihat eskalasi ke customer success naik 22 persen dalam 3 minggu tanpa kenaikan trafik signifikan. Investigasi menunjukkan prompt klasifikasi tidak menangkap istilah baru yang muncul setelah katalog kursus bertambah. Solusinya bukan rewrite total, tapi update few-shot example di prompt.

Framework Evaluasi Rutin

Untuk tim produk Indonesia yang baru mulai membangun fitur AI, framework evaluasi yang masuk akal punya tiga komponen.

Komponen pertama adalah eval set yang representatif. Kumpulan 30 sampai 100 contoh input plus expected output yang mencerminkan distribusi nyata. Eval set ini harus diperbarui tiap kuartal supaya tidak ketinggalan dari produk yang berkembang.

Komponen kedua adalah LLM as judge untuk skoring otomatis. Pakai model lain untuk menilai output produksi tiap minggu, lalu plot tren skor. Penurunan skor 5 persen lebih dalam 2 minggu adalah sinyal investigasi.

Komponen ketiga adalah human review berkala. Sampling 50 sampai 100 output produksi tiap bulan, dinilai oleh PM atau domain expert. Ini menangkap nuansa yang LLM judge sering miss, misalnya konteks budaya Indonesia atau gaya bahasa yang sesuai brand.

Studi Kasus: Vetmo dan Customer Support AI

Vetmo, klinik hewan yang saya bantu, menggunakan AI untuk pre-screening keluhan pemilik hewan sebelum masuk antrian dokter. Setelah 4 bulan beroperasi, akurasi klasifikasi turun dari 87 persen ke 79 persen. Audit menunjukkan banyak keluhan baru muncul terkait pakan kucing premium yang belum ada di few-shot example saat prompt dibuat.

Perbaikannya bukan rewrite prompt, tapi:

• Tambah 8 few-shot example baru yang merepresentasikan keluhan terbaru
• Ubah instruksi klasifikasi untuk eksplisit handle kasus pakan
• Tambah eval set spesifik untuk kasus pakan supaya tidak rot lagi

Akurasi pulih ke 88 persen dalam 2 minggu. Pelajaran utamanya: prompt bukan dokumen sekali tulis, tapi artefak hidup yang butuh perawatan.

Apa yang Tidak Boleh Dilakukan

Hindari tiga kebiasaan yang mempercepat prompt rot. Pertama, mengandalkan satu prompt untuk semua skenario tanpa fallback. Kedua, tidak versioning prompt sehingga tidak bisa rollback ketika perubahan menyebabkan regresi. Ketiga, mengukur sukses hanya dari metrik bisnis hilir seperti revenue, padahal prompt rot baru terlihat di metrik proxy seperti kepuasan dan retry rate.

Praktik versioning prompt mirip dengan versioning kode. Untuk tim yang sudah pakai Git, dokumentasi OpenAI tentang prompt management memberi panduan yang bagus untuk memulai.

Pertanyaan Umum

Apakah model yang lebih baru selalu mengurangi prompt rot?

Tidak otomatis. Model baru bisa lebih akurat untuk task umum tapi mengubah cara interpretasi instruksi sehingga prompt lama harus disesuaikan.

Berapa biaya membangun eval set?

Eval set 50 contoh berkualitas biasanya butuh 2 sampai 5 hari kerja PM atau domain expert. Ini investasi sekali yang dipakai berulang.

Apakah produk dengan trafik kecil tetap perlu evaluasi rutin?

Iya. Justru produk kecil lebih rentan karena ukuran sample tiap kasus terbatas, jadi prompt rot bisa lebih cepat memengaruhi pengalaman segmen pengguna.

Penutup

Prompt rot bukan bug, ini sifat alami sistem AI yang dipakai di lingkungan produksi yang berubah. Tim produk Indonesia yang mau menjadikan AI sebagai keunggulan jangka panjang harus memperlakukan prompt seperti aset rekayasa yang butuh pemeliharaan, bukan template sekali tulis.