| Istilah | Arti |
|---|---|
| attention | Mekanisme yang membuat setiap token memberi bobot pada token lain dalam kalimat, sehingga model memahami makna kata sesuai konteksnya. |
| query | Vektor yang dipakai sebuah token untuk bertanya kepada token lain tentang informasi yang relevan baginya. |
| key | Vektor yang dimiliki setiap token untuk menjawab pertanyaan query, sehingga kecocokannya dapat dihitung sebagai skor. |
| value | Vektor berisi informasi setiap token yang diambil sesuai bobot perhatian untuk membentuk representasi kontekstual yang baru. |
| embedding | Vektor berdimensi tinggi yang mewakili makna sebuah token dalam bentuk angka agar bisa diproses oleh model. |
| attention scores | Nilai hasil perkalian query dan key yang menunjukkan seberapa cocok satu token dengan token lainnya sebelum dinormalisasi. |
| softmax | Fungsi matematika yang mengubah daftar angka menjadi nilai positif yang berjumlah satu, sehingga bisa dibaca sebagai probabilitas. |
| multi head | Teknik menjalankan beberapa mekanisme attention secara paralel dengan proyeksi berbeda, lalu hasilnya digabung untuk menangkap beragam hubungan kata. |
| causal self-attention | Varian attention di decoder yang memakai mask agar setiap token hanya melihat token sebelumnya, sehingga model tidak mengintip jawaban saat dilatih. |
| decoder | Bagian Transformer yang menghasilkan teks token demi token, dan pada GPT-2 yang dibahas video hanya bagian ini yang dipakai. |
| attention weights | Hasil softmax berupa persentase seberapa besar sebuah token memperhatikan token lain, dengan total bobot satu untuk setiap baris. |
| tokens | Potongan kecil teks, bisa berupa kata atau bagian kata, yang menjadi satuan dasar yang diproses oleh model bahasa. |
Video dari kanal Under The Hood ini menjelaskan mekanisme attention, yaitu inti dari arsitektur Transformer yang membuat model bahasa mampu memahami konteks teks. Pembicara lebih dulu menjelaskan masalah embedding biasa, yaitu satu kata hanya punya satu vektor tetap sehingga kata Apple selalu sama, baik sebagai perusahaan teknologi maupun sebagai buah. Attention mengubah representasi itu menjadi representasi kontekstual, sehingga makna sebuah kata menyesuaikan dengan kata-kata di sekitarnya. Bagi penonton yang ingin memahami cara kerja model seperti GPT, bagian ini adalah fondasi sebelum mempelajari arsitekturnya lebih jauh.
Video ini kemudian membahas langkah demi langkah. Setiap token diubah menjadi query untuk bertanya, key untuk menjawab, dan value untuk membawa informasi, lalu perkalian query dan key menghasilkan attention scores. Skor dibagi akar dimensi key sebelum softmax agar hasilnya seimbang, dan hasil softmax menjadi attention weights yang totalnya satu untuk setiap baris. Pada causal self-attention, mask berisi negatif tak hingga menutup token masa depan agar model tidak melihat jawaban saat dilatih. Multi-head attention menjalankan beberapa attention secara paralel, dengan contoh empat head berdimensi 128 pada embedding 512, lalu hasilnya digabung. Pembicara juga menjelaskan blok decoder GPT-2 small yang memiliki embedding 768, konteks 1024 token, dan 12 layer.
Kata kunci
- query
- attention scores
- softmax
- multi head
- Menjelaskan arsitektur Transformer dan mekanisme attention yang membuat large language model kuat: teks dipecah menjadi token, diubah menjadi embedding, lalu diolah.
- Memahami fungsi query, key, dan value, cara mendapatkannya dengan weight matrices, attention scores dan softmax menjadi attention weights, causal self-attention, serta multi-head attention yang digabung menjadi embedding kontekstual.
- Menutup dengan ringkasan arsitektur GPT-2 dan alasan banyak lapisan decoder membuatnya disebut large language model.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.