Digital Transformation
RAG Chunking (Pemenggalan Dokumen untuk Retrieval AI)
RAG Chunking adalah proses memecah dokumen panjang menjadi potongan-potongan kecil yang bisa diambil ulang oleh sistem retrieval-augmented generation untuk menjawab pertanyaan pengguna secara akurat.
TL;DR: RAG Chunking adalah teknik memenggal dokumen menjadi potongan kecil yang dapat diindeks dan diambil oleh sistem AI saat menjawab pertanyaan. Ukuran dan strategi chunk yang tepat menentukan akurasi jawaban serta biaya inferensi.
Apa itu RAG Chunking?
RAG Chunking adalah praktik membagi dokumen sumber menjadi unit-unit teks yang lebih kecil, biasanya 200 sampai 800 token, sebelum dikonversi menjadi embedding dan disimpan di vector database. Saat pengguna bertanya, sistem mengambil chunk paling relevan untuk dimasukkan ke dalam konteks model.
Analogi sederhana: chunking mirip memotong buku tebal menjadi kartu indeks per topik. Mesin tidak perlu membaca seluruh buku, hanya kartu yang relevan untuk pertanyaan saat ini.
Strategi Chunking yang Umum
| Strategi | Cara kerja | Kapan dipakai |
|---|---|---|
| Fixed-size | Potong tiap N token | Dokumen relatif seragam |
| Sentence-based | Potong di batas kalimat | Konten naratif, FAQ |
| Semantic chunking | Potong berdasar pergeseran topik | Riset, dokumen teknis kompleks |
| Recursive | Coba per heading, lalu paragraf, lalu kalimat | Dokumen markdown panjang |
Chunk yang terlalu besar membuat model menerima banyak teks tidak relevan dan menurunkan retrieval precision. Chunk yang terlalu kecil memutus konteks dan menghasilkan jawaban yang kehilangan inti. Praktik standar di industri menunjukkan ukuran 256 sampai 512 token dengan overlap 10 sampai 20 persen biasanya menjadi titik tengah aman.
Kenapa Penting untuk Brand Indonesia?
Banyak brand membangun chatbot AI berbasis dokumen internal seperti FAQ produk, kebijakan, atau laporan. Tanpa chunking yang baik, jawaban AI sering melompat-lompat atau menyebut data dari bab yang tidak relevan. Dampaknya, kepercayaan pelanggan turun dan tim customer service tetap perlu mengoreksi jawaban.
Referensi praktik dapat dipelajari di LangChain documentation tentang text splitters.
Pertanyaan Umum
Apakah chunk panjang selalu lebih baik?
Tidak. Chunk panjang menaikkan biaya token dan sering mencampurkan informasi lintas topik. Evaluasi dengan RAG evaluation untuk menemukan ukuran optimal.
Bagaimana memulai untuk dokumen bisnis kecil?
Mulai dengan recursive splitter ukuran 400 token, overlap 50 token, kemudian uji pada 20 pertanyaan nyata pelanggan sebelum naik ke produksi.
Istilah Terkait