Digital Transformation
Inference (AI)
TL;DR: Inference adalah tahap ketika model AI yang sudah dilatih dipakai untuk menghasilkan output dari input baru, misalnya menjawab pertanyaan di chatbot. Berbeda dari training yang berjalan sekali dan mahal, inference berjalan setiap kali model dipakai, sehingga kecepatan dan biayanya menentukan kelayakan produk AI.
Apa itu Inference?
Inference adalah fase "pemakaian" model AI. Kalau training ibarat kuliah bertahun-tahun, inference adalah saat lulusan itu bekerja menjawab pertanyaan klien setiap hari. Setiap kali Anda mengetik prompt ke chatbot, mengunggah gambar untuk dianalisis, atau melihat jawaban AI search, yang berjalan di belakang layar adalah proses inference.
Secara teknis, model menerima input, memprosesnya lewat parameter yang sudah terbentuk saat training, lalu menghasilkan prediksi atau teks. Model tidak belajar apa pun yang baru di tahap ini. Pengetahuan tambahan biasanya disuntik lewat teknik seperti RAG, bukan lewat mengubah parameter model.
Inference vs Training
| Aspek | Training | Inference |
|---|---|---|
| Kapan terjadi | Sekali atau berkala | Setiap kali model dipakai |
| Biaya | Sangat besar di awal | Kecil per permintaan, menumpuk seiring skala |
| Yang berubah | Parameter model | Tidak ada, hanya output |
| Contoh | Melatih model dengan jutaan dokumen | Chatbot menjawab satu pertanyaan |
Kenapa Penting?
Untuk bisnis yang memakai AI, biaya operasional produk ditentukan oleh inference, bukan training. Harga API model AI dihitung per token yang diproses saat inference. Memahami inference membantu marketer dan founder menghitung biaya riil fitur AI sebelum meluncurkannya, misalnya chatbot layanan pelanggan yang melayani ribuan percakapan per hari. Latensi inference juga memengaruhi pengalaman pengguna, karena jawaban yang lambat menurunkan kepuasan.
Pertanyaan Umum
Apakah model belajar dari pertanyaan saya saat inference?
Tidak secara langsung. Parameter model tidak berubah saat inference. Sebagian penyedia bisa memakai data percakapan untuk training berikutnya, tergantung kebijakan privasinya.
Kenapa jawaban AI kadang lambat?
Latensi inference dipengaruhi ukuran model, panjang context window yang diproses, dan beban server penyedia.