BERT (Bidirectional Encoder Representations from Transformers)

TL;DR: BERT adalah model bahasa Google yang dirilis 2019 dan memahami konteks kata secara dua arah dalam kalimat. Dampaknya, Google jauh lebih akurat menangkap Search Intent, terutama untuk query panjang atau percakapan sehari-hari.

Apa itu BERT?

BERT singkatan dari Bidirectional Encoder Representations from Transformers, keluarga model yang dikembangkan Google Research pada 2018 dan diintegrasikan ke Google Search pada Oktober 2019. Berbeda dengan model lama yang membaca kata satu arah (kiri ke kanan), BERT membaca kalimat utuh sekaligus dari kedua arah. Hasilnya, kata-kata sambung seperti "untuk", "ke", "tanpa" dan preposisi lain jadi punya bobot makna.

Secara sederhana, BERT menghitung representasi vektor kontekstual tiap kata:

$$h_i = \text{Transformer}(x_1, x_2, \ldots, x_n)$$

dengan $h_i$ merupakan embedding kata ke-$i$ yang sudah memperhitungkan seluruh kata di kalimat.

BERT vs Model Sebelumnya

Kenapa Penting?

BERT membuat halaman yang menulis dengan gaya natural lebih unggul dari halaman yang keyword-stuffing. Dalam praktik SEO 2020 ke atas, konten yang ditulis sebagai jawaban percakapan, sesuai prinsip AEO, cenderung lebih mudah masuk Featured Snippet. BERT juga menjadi dasar teknis untuk model penerus seperti MUM dan RankBrain generasi baru yang kini menopang AI Overview.

Pertanyaan Umum

Apakah BERT dipakai di luar Google Search?

Ya. BERT jadi pondasi banyak produk NLP, termasuk chatbot, klasifikasi dokumen, dan translator. Varian open-source seperti DistilBERT banyak dipakai startup.

Apakah BERT dan LLM modern itu sama?

Tidak persis. BERT adalah encoder (bidirectional) yang kuat untuk pemahaman. LLM generatif seperti GPT lebih fokus pada decoder untuk menghasilkan teks. Keduanya turunan arsitektur Transformer.