Digital Transformation
Chunking Strategy
Chunking strategy adalah cara memotong dokumen panjang menjadi potongan kecil agar bisa diproses sistem RAG dan AI Search dengan akurat tanpa kehilangan konteks penting.
TL;DR: Chunking strategy adalah teknik memecah dokumen panjang menjadi unit-unit kecil (200 sampai 800 token) sebelum disimpan ke vector database untuk dipakai sistem Retrieval-Augmented Generation. Pemilihan strategi chunking berdampak langsung pada akurasi jawaban LLM dan biaya inferensi, sehingga marketer yang membangun chatbot atau internal AI assistant perlu memahaminya bersama developer.
Apa itu Chunking Strategy?
Chunking strategy adalah keputusan teknis tentang ukuran, batas, dan tumpang tindih (overlap) potongan teks yang masuk ke sistem retrieval. Saat user mengajukan pertanyaan ke chatbot atau AI Search, sistem mencari potongan paling relevan dari vector database, lalu LLM merangkainya jadi jawaban. Kalau potongannya terlalu kecil, konteks hilang. Kalau terlalu besar, biaya token membengkak dan retrieval jadi tidak presisi.
Empat Pendekatan Chunking yang Lazim
| Strategi | Cara Kerja | Cocok Untuk |
|---|---|---|
| Fixed-size | Potong setiap N karakter atau token | Dokumen pendek, FAQ |
| Semantic | Potong berdasarkan batas paragraf atau topik | Artikel panjang, dokumentasi |
| Recursive | Coba batas besar dulu, fallback ke yang lebih kecil | Campuran konten |
| Sliding window | Potongan overlap 10 sampai 20 persen | Konten teknis dengan referensi silang |
Dalam beberapa proyek terakhir, semantic chunking dengan overlap 15 persen terbukti memberi recall paling stabil untuk konten Bahasa Indonesia. Studi dari Pinecone tentang chunking menyebut bahwa range 256 sampai 512 token adalah titik optimal untuk sebagian besar use case.
Kenapa Penting untuk Marketer Indonesia?
Marketer yang membangun chatbot customer service, internal knowledge base, atau personalisasi konten lewat RAG wajib bicarakan strategi chunking dengan tim teknis sejak awal. Salah strategi membuat chatbot menjawab di luar konteks, menambah hallucination rate, dan membakar budget LLM karena setiap jawaban menarik terlalu banyak konteks. Per April 2026, biaya inferensi model premium masih di kisaran USD 3 sampai 15 per juta token, jadi efisiensi chunk berdampak langsung ke laporan keuangan.
Pertanyaan Umum
Berapa ukuran chunk ideal?
Rentang 200 sampai 800 token sesuai dengan jenis konten. Dokumen teknis cenderung butuh chunk lebih besar dengan overlap, sementara FAQ pendek cukup chunk kecil tanpa overlap.
Apakah chunking strategy mempengaruhi SEO?
Tidak langsung untuk Google Search tradisional, tapi penting untuk visibility di AI Search dan internal chatbot. Konten yang ter-chunk baik lebih sering dikutip oleh sistem RAG yang mengambil sumber dari website.
Istilah Terkait