Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CS229 Machine Learning | Spring 2026 | Lecture 14: Transformers, In-Context Learning
| Istilah | Arti |
|---|---|
| softmax | Fungsi yang mengubah deretan skor menjadi probabilitas bernilai nonnegatif yang jumlahnya 1, dipakai untuk memilih token berikutnya. |
| tokenization | Proses memecah teks menjadi unit kecil bernama token, yang sering berupa potongan kata, sebelum diberikan ke model. |
| vocabulary | Daftar tetap semua token yang dikenali model, yang dalam kuliah ini disebut berukuran sekitar 250 ribu. |
| attention | Mekanisme yang membuat setiap posisi memberi bobot pada posisi lain dengan membandingkan query dan key, lalu mengambil value-nya. |
| MLP | Jaringan saraf dua atau tiga lapis yang memproses setiap posisi secara terpisah setelah tahap attention dalam transformer. |
| probability | Ukuran kemungkinan suatu kejadian antara 0 sampai 1, dipakai model untuk menilai seberapa mungkin token tertentu muncul. |
| minus infinity | Nilai sangat kecil yang ditambahkan ke posisi masa depan agar setelah softmax bobotnya menjadi nol dan model tidak melihatnya. |
| inner product | Hasil kali dalam dua vektor, yaitu jumlah perkalian elemen yang dipakai untuk mengukur kemiripan antara query dan key. |
| tau | Simbol temperatur yang membagi skor sebelum softmax; nilai kecil membuat hasil lebih deterministik, sedangkan nilai besar membuat hasil lebih acak. |
| reinforcement learning | Metode belajar dari hadiah dan percobaan berulang, yang dibahas singkat karena dibutuhkan untuk memahami model penalaran modern. |
| reasoning models | Kelompok model bahasa modern yang menurut dosen membutuhkan pemahaman reinforcement learning untuk dijelaskan dengan baik. |
| GPU | Prosesor grafis yang dipakai menghitung operasi matriks transformer dengan cepat, dan cara membuatnya efisien akan dibahas kuliah tamu. |
Kuliah ke-14 Stanford CS229 Machine Learning musim semi 2026 ini membahas transformer dan in-context learning sebagai bagian dari rangkaian kuliah tentang model bahasa besar. Dosen menjelaskan bahwa fokusnya pada model bahasa autoregresif, yaitu model yang menghasilkan token satu per satu, dan bahwa reinforcement learning perlu dibahas sedikit agar model penalaran modern bisa dipahami. Langkah pertama adalah tokenisasi, yaitu mengubah teks menjadi token berbentuk potongan kata dengan kosakata berukuran sekitar 250 ribu. Probabilitas urutan token lalu diuraikan dengan aturan rantai menjadi probabilitas token berikutnya, sehingga setiap langkah cukup memilih satu token dari kosakata. Pendekatan ini penting karena membuat model bisa dilatih dengan memaksimalkan kemungkinan data dan kemudian dipakai untuk menghasilkan teks.
Bagian tengah kuliah menjelaskan transformer, dimulai dari embedding token dan logit yang diubah softmax menjadi distribusi probabilitas. Inti pembahasan adalah attention, dengan matriks query, key, dan value. Skor antara query dan key berupa hasil kali dalam, lalu softmax mengubahnya menjadi bobot, dan keluarannya adalah kombinasi linear dari value. Untuk model autoregresif, dosen memakai masking dengan minus infinity agar setiap posisi tidak melihat token sesudahnya. Attention diperluas menjadi multi-head, lalu diselingi MLP yang bekerja per posisi, dengan normalisasi dan residual. Di akhir, dijelaskan bahwa biaya attention tumbuh kuadratik terhadap panjang konteks T, sehingga kebutuhan memori dapat dikurangi dengan Flash Attention. Untuk pengambilan sampel, temperatur tau dan top-k mengatur seberapa deterministik hasil yang dihasilkan model.
Kata kunci
- softmax
- tokenization
- attention
- reinforcement learning
- Mengikuti kuliah tentang large language model: bagaimana model memodelkan distribusi kata berikutnya dengan jaringan dan softmax.
- Memahami tokenisasi, vocabulary, vektor token, dan self-attention (query, key, value) sebagai kombinasi konveks dari vektor.
- Menyinggung kebutuhan reinforcement learning untuk memahami model reasoning, dan bahwa arsitektur yang menurunkan ketergantungan pada T kuadrat bisa mengorbankan performa.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.