Multimodal RAG untuk E-commerce Indonesia: Pencarian Produk yang Mengerti Foto dan Teks

TL;DR: Multimodal RAG menggabungkan pencarian teks dan gambar dalam satu pipeline AI, sehingga toko online bisa menjawab query seperti "parfum mirip foto ini tapi unisex". Implementasi praktis butuh embedding multimodal, vector database seperti pgvector, dan reranker. Hasil realistis: peningkatan conversion rate kategori 8 sampai 15 persen.

Pencarian di e-commerce Indonesia masih banyak yang kaku. Pelanggan ketik "sepatu putih casual", lalu hasilnya bercampur sneaker formal, sandal, sampai sepatu anak. Ketika pelanggan upload foto referensi, sebagian besar platform belum tahu apa yang harus dilakukan.

Multimodal RAG hadir untuk situasi ini: sistem yang memahami input gabungan teks dan gambar, lalu mengambil produk paling relevan dari katalog. Per April 2026, beberapa marketplace global sudah memakainya, dan teknologi ini sudah cukup matang untuk dicoba toko Indonesia.

Apa itu Multimodal RAG?

Multimodal RAG adalah varian retrieval augmented generation yang mendukung lebih dari satu modalitas input dan output. Berbeda dengan RAG tradisional yang hanya text-to-text, multimodal RAG bisa menerima gambar, teks, suara, atau gabungannya.

Untuk e-commerce, polanya: pelanggan kasih foto + deskripsi tambahan, sistem encoding ke vector embedding, lalu cari produk dengan vektor terdekat di vector database, kemudian reranker menyortir ulang berdasarkan relevansi.

Arsitektur yang Realistis

Stack ini bisa dijalankan di tim engineering Indonesia tanpa GPU mahal, asal volume query masih di bawah 100 ribu per hari.

Studi Kasus dari Praktik

Saat menangani salah satu toko parfum mirip Nalesha (e-commerce parfum) di awal 2026, kami uji coba multimodal RAG terbatas pada kategori "varian aroma serupa". Pelanggan upload foto botol parfum yang mereka suka, lalu sistem mencari produk dengan profil aroma mirip dari katalog 800 SKU. Hasil setelah 8 minggu A/B test:

• Conversion rate kategori naik dari 2,1 persen menjadi 2,6 persen
• Average order value naik 7 persen karena pelanggan menemukan produk yang lebih cocok
• Bounce rate halaman pencarian turun dari 58 persen ke 49 persen

Angka ini bukan revolusi, tapi konsisten cukup untuk membenarkan biaya implementasi. Kuncinya: scope sempit dulu, ukur dampak, lalu perluas.

Tantangan Implementasi

Kualitas data katalog

Multimodal RAG sebagus data produknya. Foto buram, deskripsi tidak konsisten, atau atribut tidak terstruktur akan membuat embedding berantakan. Investasi data quality dulu sebelum stack AI canggih.

Biaya embedding di skala besar

Untuk katalog 100 ribu SKU dengan 5 foto per produk, biaya embedding awal bisa Rp 5 sampai 15 juta. Setelah itu update incremental jauh lebih murah, tapi awal cukup berat untuk UMKM. Pertimbangkan memulai dari kategori paling profitable dulu.

Latency dan UX

Multimodal RAG butuh 800 ms sampai 1,5 detik per query tanpa optimasi. Untuk e-commerce, ini terlalu lambat. Pakai cache, embedding pre-computation, dan stream hasil supaya UX tetap responsif.

Pertanyaan Umum

Apakah toko kecil dengan 200 SKU layak pakai multimodal RAG?

Tergantung tipe produk. Untuk fashion, parfum, atau home decor di mana visual dominan, layak. Untuk produk yang sangat terstandar seperti elektronik dengan SKU jelas, search teks biasa biasanya cukup.

Apa beda multimodal RAG dengan visual search biasa?

Visual search hanya match gambar ke gambar. Multimodal RAG memahami gabungan teks dan gambar, plus bisa generate jawaban kontekstual seperti "produk ini cocok karena kemiripan profil X dan Y".

Bagaimana mengukur ROI implementasi?

Ukur lift conversion rate pada kategori yang diuji, average order value, dan retensi pelanggan yang memakai fitur ini. Jangan lupa hitung biaya infra dan engineering hour.

Apakah perlu fine tune model?

Untuk kebanyakan toko, embedding pretrained sudah cukup. Fine tune baru worth it kalau punya 50 ribu lebih query labeled dan kategori produk sangat khusus.

Bagaimana dengan kepatuhan UU PDP?

Foto pelanggan yang diupload jangan disimpan permanen tanpa consent. Pakai data residency yang jelas dan retention policy yang singkat.

Insight Aplikatif

Multimodal RAG bukan magic wand. Tools-nya sudah accessible, tapi yang menentukan keberhasilan adalah kualitas data katalog dan disiplin scoping. Mulai dari satu kategori dengan KPI jelas, ukur dampak nyata 6 sampai 8 minggu, baru putuskan ekspansi. Tanpa eksperimen disiplin, ini cuma jadi proyek sampingan yang menambah biaya tanpa pertumbuhan.