| Istilah | Arti |
|---|---|
| attention | Mekanisme yang membiarkan setiap kata mengumpulkan informasi dari kata lain dalam kalimat, sehingga maknanya menyesuaikan konteks di sekitarnya. |
| softmax | Fungsi yang mengubah deretan skor menjadi bagian-bagian positif yang jumlahnya tepat satu, sehingga bisa dibaca sebagai persentase perhatian. |
| scores | Angka kemiripan antara pertanyaan satu kata dan jawaban kata lain, dihitung dengan perkalian titik sebelum dipakai menentukan perhatian. |
| mask | Matriks yang menutup kata-kata di masa depan agar model tidak bisa mengintip jawaban saat belajar menebak kata berikutnya dalam kalimat. |
| negative infinity | Nilai negatif yang sangat besar, dipakai pada mask sehingga setelah softmax bobot kata masa depan menjadi tepat nol. |
| square root | Akar kuadrat dari ukuran vektor, dipakai untuk membagi skor agar angkanya tidak terlalu besar ketika vektor berdimensi tinggi. |
| attention weights | Daftar persentase perhatian yang diberikan satu kata kepada kata lain, yang kemudian dipakai untuk merakit ulang representasi kata tersebut. |
| Python | Bahasa pemrograman yang dipakai video ini untuk menulis fungsi attention yang pendek, dengan setiap baris diberi label sesuai langkahnya. |
| ChatGPT | Aplikasi chatbot dari OpenAI, dan video ini menjelaskan bahwa rumus attention yang sama juga berjalan di dalam model di balik layanan tersebut. |
| formula | Rumus attention dengan huruf kapital Q, K, dan V, yang menjadi inti pembahasan video dan dipecah menjadi lima bagian kecil yang mudah dipahami. |
| crane | Kata bahasa Inggris yang berarti burung bangau atau alat derek, dipakai pembicara sebagai contoh kata yang maknanya bergantung pada konteks kalimat. |
| row | Baris dalam tabel angka yang di video ini mewakili satu kata, sehingga baris crane berisi representasi milik kata crane pada setiap tahap. |
Video dari kanal Zachary Huang ini menjelaskan mekanisme attention, rumus inti di balik ChatGPT dan model bahasa modern lainnya, dengan bahasa yang sederhana. Masalah utamanya, rumus attention dari makalah tahun 2017 terlihat rumit, dan banyak orang hanya merasa makin bingung setelah membacanya. Pembicara membuka dengan alasan mengapa model membutuhkan attention. Sebuah kata seperti crane bisa berarti burung atau alat derek, sehingga representasi kata sebaiknya bergantung pada kata-kata di sekitarnya. Bagi penonton, video ini penting karena menjelaskan setiap langkah dengan contoh angka yang bisa diikuti, bukan sekadar meminta orang menghafal rumus. Contoh kode Python yang pendek juga membuat penonton bisa mencoba sendiri.
Pembicara memecah rumus menjadi lima bagian: skor kemiripan, penskalaan dengan akar kuadrat dimensi, mask, softmax, dan perpaduan nilai. Dengan dua kalimat contoh, crane lifted steel dan crane ate fish, ia menunjukkan bahwa vektor awal crane masih ambigu, lalu attention menggesernya ke arah mesin pada kalimat pertama dan ke arah hewan pada kalimat kedua. Skor antara lifted dan steel yang sama-sama mengarah ke mesin tercatat sekitar 0,81, nilai tertinggi di antara pasangan kata berbeda. Ia menjelaskan bahwa tanpa penskalaan, vektor berdimensi besar membuat skor terlalu besar sehingga softmax hampir memberi seluruh perhatian ke satu kata. Mask dipakai agar model tidak melihat kata di masa depan saat belajar memprediksi kata berikutnya, dan nilai negatif tak hingga membuat bobot kata-kata tersebut tepat nol. Video diakhiri dengan fungsi Python lengkap yang menjalankan seluruh langkah itu sekaligus.
Kata kunci
- attention
- softmax
- attention weights
- negative infinity
- Memahami rumus attention yang dipakai di dalam LLM lewat cerita dan contoh kecil kata crane yang bermakna ganda.
- Menelusuri algoritmanya langkah demi langkah: skor antar kata, pembagian dengan akar dimensi, softmax menjadi attention weights, lalu berbagi informasi antar kata.
- Memahami mask yang menutup kata masa depan dengan negative infinity, lalu menjalankan semuanya sebagai satu fungsi Python pendek.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.