| Istilah | Arti |
|---|---|
| attention | Mekanisme di transformer yang membuat setiap kata menyerap makna dari kata lain yang relevan dalam teks sehingga embedding-nya sesuai konteks. |
| embedding | Vektor angka berdimensi tinggi yang mewakili sebuah token, di mana arah tertentu dalam ruangnya bisa bermakna seperti gender atau sifat kata. |
| query | Vektor kecil hasil perkalian embedding dengan matriks query yang ibarat pertanyaan sebuah kata, misalnya kata benda yang mencari kata sifat di depannya. |
| key | Vektor hasil perkalian embedding dengan matriks key yang berperan menjawab query, dan kecocokan keduanya diukur dengan dot product. |
| value | Vektor yang menyatakan informasi apa yang perlu ditambahkan ke embedding kata lain bila kata ini relevan, misalnya arah kebiruan untuk kata blue. |
| attention head | Satu unit attention dengan matriks query, key, dan value sendiri yang mempelajari satu jenis cara konteks mengubah makna kata. |
| attention pattern | Grid bobot hasil softmax atas dot product key dan query yang menunjukkan seberapa relevan setiap kata terhadap kata lainnya. |
| attention block | Bagian transformer yang menjalankan banyak attention head lalu mengeluarkan deretan embedding yang sudah diperkaya konteks. |
| multi-headed attention | Cara menjalankan banyak attention head secara paralel, seperti 96 head di tiap blok GPT-3, lalu menjumlahkan usulan perubahan dari semuanya. |
| cross-attention | Variasi attention untuk dua jenis data berbeda, misalnya teks dua bahasa dalam terjemahan, di mana key dan query berasal dari data yang berbeda. |
| softmax | Fungsi yang mengubah deretan skor bebas menjadi angka antara 0 dan 1 yang jumlahnya 1, dipakai untuk menormalkan setiap kolom attention pattern. |
| masking | Langkah mengisi skor kata yang lebih belakang dengan minus tak hingga sebelum softmax agar kata berikutnya tidak membocorkan jawaban saat training. |
Video dari 3Blue1Brown ini membedah mekanisme attention, bagian kunci transformer yang diperkenalkan dalam makalah Attention is All You Need tahun 2017 dan menjadi inti large language model. Tujuan model adalah menebak kata berikutnya dari sebuah teks. Setiap token awalnya diubah menjadi embedding, yaitu vektor berdimensi tinggi yang belum mengenal konteks, sehingga kata mole bernilai sama dalam American shrew mole, one mole of carbon dioxide, dan biopsy of the mole. Attention bertugas menggeser embedding itu agar menyerap makna dari kata di sekitarnya, misalnya tower menjadi Eiffel tower atau miniatur Eiffel tower. Pemahaman ini penting karena prediksi kata berikutnya hanya bergantung pada vektor terakhir, yang harus memuat semua informasi relevan dari konteks.
Dengan contoh a fluffy blue creature roamed the verdant forest, video menjelaskan satu attention head. Matriks query mengubah tiap embedding menjadi pertanyaan, misalnya kata benda mencari kata sifat, dan matriks key menghasilkan jawaban. Dot product antara key dan query membentuk grid skor yang dinormalkan dengan softmax per kolom menjadi attention pattern, dibagi akar dimensi demi kestabilan angka. Masking mengisi posisi kata yang lebih belakang dengan minus tak hingga agar tidak memengaruhi kata sebelumnya. Matriks value lalu menghasilkan perubahan yang ditambahkan ke embedding. Ukuran pattern sama dengan kuadrat panjang konteks, sehingga konteks panjang menjadi hambatan. Video juga membahas cross-attention untuk terjemahan dan multi-headed attention. Pada GPT-3, satu head punya sekitar 6,3 juta parameter, tiap blok memiliki 96 head atau sekitar 600 juta parameter, dan 96 lapisan menghasilkan hampir 58 miliar parameter, kira-kira sepertiga dari 175 miliar. Keunggulan utamanya adalah mudah dijalankan paralel di GPU.
Kata kunci
- attention mechanism
- transformer
- attention head
- multi-headed attention
- Menjelaskan mekanisme attention di dalam transformer langkah demi langkah.
- Menerangkan peran query, key, dan value matrix dalam satu attention head.
- Memahami attention pattern, masking, cross-attention, dan multi-headed attention beserta jumlah parameternya.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.