Token (LLM)

TL;DR: Token adalah unit terkecil teks yang diproses model bahasa (LLM). Satu kata bisa terdiri dari satu atau beberapa token, dan biaya serta batas panjang interaksi dengan AI dihitung per token, bukan per kata.

Apa itu Token?

Token adalah potongan teks yang menjadi satuan dasar saat model bahasa membaca dan menghasilkan teks. Model tidak melihat kalimat sebagai rangkaian huruf, melainkan memecahnya menjadi token lebih dulu lewat proses bernama tokenisasi. Sebagai analogi, jika sebuah kalimat adalah kalung, token adalah manik-manik penyusunnya. Satu kata bahasa Inggris umumnya setara sekitar 1,3 token, sementara bahasa Indonesia dan kata teknis sering terpecah jadi lebih banyak token. Konsep ini berkaitan erat dengan context window yang membatasi total token dalam satu sesi.

Cara Menghitung Token

Patokan kasar yang dipakai banyak praktisi: 1 token kira-kira 4 karakter bahasa Inggris, atau sekitar 0,75 kata. Beberapa hal yang memengaruhi jumlah token:

• Kata umum bahasa Inggris sering jadi 1 token utuh.
• Kata bahasa Indonesia, nama orang, dan istilah teknis sering pecah jadi 2-4 token.
• Spasi, tanda baca, dan emoji juga dihitung sebagai token.

OpenAI menyediakan alat resmi untuk melihat pemecahan token di Tokenizer OpenAI.

Kenapa Penting?

Token menentukan dua hal yang langsung berdampak pada biaya dan strategi konten. Pertama, harga API model dihitung per token input dan output, jadi prompt yang bertele-tele membengkakkan biaya. Kedua, batas panjang percakapan ditentukan jumlah token, bukan kata. Untuk marketer Indonesia yang menulis konten agar mudah dikutip AI, memahami token membantu menyusun paragraf self-contained yang ringkas namun lengkap, sehingga hemat token saat di-retrieve mesin jawaban.

Pertanyaan Umum

Apakah 1 token sama dengan 1 kata?

Tidak selalu. Rata-rata 1 kata bahasa Inggris setara 1,3 token, tetapi kata panjang atau bahasa Indonesia bisa terpecah jadi beberapa token.

Kenapa biaya AI dihitung per token?

Karena beban komputasi model sebanding dengan jumlah token yang diproses, baik pada input maupun output, sehingga penagihan per token lebih adil ketimbang per permintaan.