LLM Evals untuk Tim Produk Indonesia: Cara Marketer Bangun Jaminan Kualitas Konten AI 2026

TL;DR: Eval set adalah jaminan mutu sebuah fitur AI sebelum dirilis ke publik. Tanpa eval, tim hanya bisa menebak apakah prompt baru lebih baik dari yang lama. Praktik standar yang berlaku di tim produk AI 2026: 30 sampai 100 test case bertingkat, kombinasi penilaian deterministic dan model-graded, plus ambang skor minimal sebelum prompt boleh masuk produksi.

Marketer yang sudah memakai AI untuk artikel, balasan email, atau ringkasan internal tahu masalah ini. Output bagus minggu ini, ngaco minggu depan, tanpa kelihatan jelas penyebabnya. Setiap kali prompt di-tweak, semua orang kembali menebak. Itu kondisi default ketika fitur AI dibangun tanpa kerangka evals.

Tahun 2026, AI bukan lagi eksperimen sampingan. Konsultan, agensi, dan tim produk Indonesia mulai memasukkan AI ke alur kerja inti, dari brief hingga publikasi. Risikonya ikut naik. Konten yang salah klaim, ringkasan yang menyimpang, atau jawaban yang melanggar pedoman brand bisa langsung berdampak ke reputasi.

Kenapa Marketer Perlu Bicara Soal Evals

Selama ini evals dianggap urusan tim engineering. Pandangan itu sudah usang. Marketer justru pemilik definisi "output yang dianggap baik": gaya, panjang, akurasi klaim, kepatuhan ke brand voice. Tanpa marketer di meja desain eval, kriteria yang dipakai engineer biasanya cuma latency dan format JSON.

Praktik di tim produk AI besar seperti yang didokumentasikan di Anthropic Building Effective Agents menempatkan evals sebagai pondasi sebelum prompt produksi ditulis. Marketer berperan menyusun rubrik kualitas: apa yang dihitung benar, apa yang ditolak, apa yang abu-abu.

Anatomi Eval Set yang Layak Produksi

Tiga jenis eval yang paling sering dipakai. Pertama deterministic eval, untuk hal hitam-putih: format JSON valid, tidak ada kata terlarang, jumlah token sesuai. Kedua reference-based eval, membandingkan output dengan jawaban benar yang sudah disusun manual. Ketiga model-graded eval, memakai model AI lain sebagai juri kualitatif untuk dimensi seperti kejelasan dan kesopanan.

Eval set yang sehat menggabungkan ketiganya. Format dan keamanan dijaga deterministic. Akurasi fakta dicek reference-based. Gaya dan tone dinilai model-graded. Tidak ada satu jenis eval pun yang cukup sendirian.

Studi Kasus: Eval Set untuk Generator Newsletter

Pola yang saya pakai pada proyek konten Atmo (LMS) saat membangun generator newsletter berbasis AI: 50 test case awal, dibagi tiga bucket. Bucket pertama 20 input "ideal" (topik jelas, audience spesifik). Bucket kedua 20 input "ambigu" (topik luas, audience samar). Bucket ketiga 10 input "edge case" (klaim sensitif, angka rumit, kutipan).

Rubrik dipecah jadi lima dimensi: akurasi klaim (0-2), kesesuaian brand voice (0-2), kejelasan struktur (0-2), kebebasan dari hallucination (0-2), dan keamanan (0-2). Skor maksimal 10 per output. Threshold rilis: rata-rata di atas 7,5 dengan tidak ada satu pun di bawah 5 untuk dimensi keamanan.

Yang penting: eval set tidak dibuat sekali lalu dilupakan. Setiap kegagalan di produksi ditambahkan jadi test case baru. Setelah enam bulan, eval set tumbuh dari 50 menjadi 130 kasus. Saat itulah angka eval mulai bisa dipercaya sebagai prediktor kualitas produksi.

Kapan Threshold Boleh Dilonggarkan

Threshold ketat di awal melindungi pengguna, tapi terlalu ketat akan menahan iterasi. Pola yang umum dipakai: gunakan threshold tinggi untuk fitur yang menyentuh klaim publik, threshold lebih rendah untuk fitur internal yang manusia akan review sebelum dipakai.

Per April 2026, ambang skor minimal bervariasi 60 sampai 90 persen tergantung risiko. Jangan adopsi angka tetangga tanpa konteks. Threshold yang benar selalu turunan dari toleransi risiko yang sudah disetujui pemilik produk.

Pertanyaan Umum

Berapa lama membangun eval set pertama?

Untuk fitur AI sederhana, satu sampai dua minggu sudah cukup untuk 30-50 kasus. Investasi ini memangkas waktu debug prompt di siklus berikutnya hingga setengahnya.

Apakah evals menggantikan QA manusia?

Tidak. Evals menggantikan tebakan, bukan judgment manusia. Untuk konten yang dipublikasikan ke publik, manusia masih jadi gerbang akhir. Evals memastikan yang sampai ke gerbang itu sudah lolos dasar.

Apa beda eval dengan A/B test prompt?

Eval menjawab "seberapa baik output ini secara absolut". A/B test menjawab "mana yang lebih baik antara dua varian". Keduanya saling melengkapi, bukan saling menggantikan.

Bangun Eval Sebelum Mengejar Skala

Rekomendasi praktis untuk marketer dan tim produk Indonesia yang baru mulai: pilih satu fitur AI yang sudah jalan di produksi, susun 30 test case dari log permintaan nyata, definisikan rubrik 3-5 dimensi, pilih satu judge per dimensi. Setelah eval set jalan satu siklus rilis, baru tambah fitur AI berikutnya.

Tim yang melompati langkah ini selalu tiba di titik yang sama: skala fitur naik, kualitas turun, tidak ada sinyal objektif untuk memperbaiki. Eval bukan beban tambahan, melainkan satu-satunya cara membangun jaminan mutu yang konsisten di produk berbasis AI.