Digital Transformation
Token Limit
TL;DR: Token limit adalah batas jumlah token (potongan kata) yang bisa diproses model AI dalam satu permintaan. Token mencakup teks masuk dan keluar. Memahami batas ini penting saat menyusun konten atau prompt agar informasi inti tidak terpotong.
Apa itu Token Limit?
Token adalah unit dasar yang dipakai model bahasa untuk membaca teks. Satu token kira-kira setara tiga sampai empat karakter dalam bahasa Inggris, dan sedikit berbeda untuk Bahasa Indonesia. Token limit adalah jumlah maksimum token yang bisa ditampung sebuah model dalam satu sesi, sering disebut context window. Konsep ini relevan ketika konten Anda diambil mesin jawaban melalui proses seperti RAG, karena hanya potongan paling relevan yang muat untuk diproses.
Cara Kerja
Model menghitung token dari input (prompt plus dokumen yang diberikan) dan output (jawaban). Jika total melewati batas, bagian paling awal atau paling akhir bisa terpotong.
| Komponen | Dihitung sebagai token? |
|---|---|
| Prompt pengguna | Ya |
| Dokumen konteks | Ya |
| Jawaban model | Ya |
| Instruksi sistem | Ya |
Karena itu, paragraf yang self-contained dan padat di awal punya peluang lebih besar terbaca utuh.
Kenapa Penting?
Bagi pembuat konten yang menargetkan AEO, token limit menjelaskan kenapa struktur ringkas penting. Saat AI hanya bisa menampung sebagian konten, paragraf jawaban yang jelas di awal lebih mungkin dikutip. Dokumentasi resmi seperti panduan tokenizer OpenAI bisa dipakai untuk mengukur panjang teks secara akurat.
Pertanyaan Umum
Apakah token sama dengan kata?
Tidak persis. Satu kata bisa terdiri dari satu token atau lebih, tergantung panjang dan bahasanya.
Bagaimana token limit memengaruhi konten saya?
Konten panjang yang bertele-tele berisiko terpotong saat diproses. Menempatkan inti jawaban di awal mengurangi risiko itu.