RAG Chunking: Cara Brand Indonesia Bangun Asisten AI yang Tidak Asal Jawab di 2026

TL;DR: RAG chunking yang buruk adalah penyebab paling sering jawaban asisten AI internal terdengar yakin namun salah. Brand Indonesia di 2026 perlu memilih strategi pemenggalan dokumen sesuai jenis konten, lalu mengevaluasinya secara berkala dengan dataset pertanyaan nyata pelanggan.

Banyak tim di Indonesia mulai membangun chatbot internal berbasis dokumen FAQ, kebijakan, atau katalog produk. Pendekatan paling lazim adalah retrieval-augmented generation. Modelnya canggih, namun jawaban sering tetap kacau. Bukan karena modelnya, melainkan karena dokumen sumber dipenggal dengan cara yang membuat retriever salah mengambil potongan.

Dari beberapa proyek implementasi RAG yang saya tangani, mulai dari knowledge base agency hingga FAQ produk e-commerce, perbaikan terbesar tidak datang dari ganti model. Perbaikan datang dari strategi chunking yang lebih disiplin.

Kenapa Chunking Menentukan Akurasi

Sistem RAG bekerja dengan dua langkah inti, yaitu retrieval dan generation. Pada retrieval, sistem mengubah pertanyaan menjadi embedding lalu mencari potongan dokumen paling mirip di vector database. Jika potongan yang masuk ke konteks model salah atau setengah utuh, jawaban juga akan salah, sekuat apapun modelnya.

Inilah alasan rag chunking dianggap fondasi. Praktik standar menunjukkan, sebagian besar jawaban yang melenceng pada chatbot dokumen perusahaan berasal dari potongan yang terlalu besar, terlalu kecil, atau tidak mengikuti batas semantik dokumen.

Empat Strategi Chunking dan Kapan Memakainya

Untuk sebagian besar brand Indonesia, recursive splitter dengan ukuran 400 token dan overlap 50 token menjadi titik awal yang aman. Setelah dataset pertanyaan terkumpul, pindah ke semantic chunking sering memberi peningkatan akurasi 5 sampai 15 persen, berdasarkan rentang yang saya temui di klien skala menengah.

Pemilihan strategi sebaiknya didampingi rag evaluation supaya peningkatan dapat diukur. Tanpa evaluasi, perubahan chunking sering terasa lebih baik secara intuitif tetapi tidak terbukti angka.

Studi Kasus: FAQ Vetmo dan Knowledge Base Atmo

Pada Vetmo, FAQ pet care pertama kali dipotong dengan fixed-size 1.000 token. Asisten AI sering menjawab campur, misal pertanyaan vaksin kucing dijawab dengan paragraf vaksin anjing dari bab lain. Setelah pindah ke recursive splitter dengan batas heading H3 dan ukuran 400 token, akurasi pada 50 pertanyaan uji naik dari 62 persen menjadi 84 persen.

Pada knowledge base Atmo, pendekatan berbeda. Karena dokumen kebijakan panjang dan saling silang, kami pakai semantic chunking dengan model embedding multilingual. Hasilnya lebih lambat di tahap indexing, namun jawaban untuk pertanyaan kebijakan kompleks lebih konsisten. Detail teknis serupa juga dibahas di LangChain documentation tentang text splitters.

Pertanyaan Umum

Apakah perlu langsung pakai semantic chunking?

Tidak. Mulai dari recursive splitter karena lebih cepat diuji. Pindah ke semantic chunking ketika dataset pertanyaan sudah cukup dan kebutuhan akurasi naik.

Berapa overlap yang ideal?

Pengalaman di lapangan menunjukkan 10 sampai 20 persen dari ukuran chunk biasanya cukup untuk menjaga konteks tanpa membengkakkan biaya token.

Apakah chunking memengaruhi biaya?

Ya. Chunk besar menambah token konteks per panggilan, sementara overlap berlebihan menambah jumlah chunk yang diembed. Keduanya naik linier ke biaya bulanan.

Bagaimana mengevaluasi tanpa tim data science?

Buat dataset 30 sampai 50 pertanyaan nyata pelanggan beserta jawaban acuan, lalu hitung berapa banyak jawaban yang benar persis dan berapa yang sebagian benar. Lakukan rutin tiap perubahan strategi.

Apakah model lebih besar bisa menutupi chunking yang buruk?

Sebagian, tetapi tidak ekonomis. Chunking yang baik memberi peningkatan akurasi yang lebih murah dan lebih konsisten daripada upgrade model.

Penutup: Asisten AI yang Dipercaya Dimulai dari Pemenggalan

Brand Indonesia yang serius membangun asisten AI internal di 2026 perlu memandang chunking sebagai pekerjaan engineering konten, bukan sekadar konfigurasi default. Dokumen yang dipenggal dengan disiplin akan membuat asisten lebih akurat, lebih murah, dan lebih layak dipercaya pelanggan.