Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 3: Architectures
| Istilah | Arti |
|---|---|
| layer norm | Operasi yang menormalkan aktivasi dengan mengurangi rata-rata lalu membagi dengan simpangan bakunya, dan di video ini letaknya menjadi satu hal yang disepakati semua model modern. |
| RMS norm | Versi sederhana layer norm yang hanya membagi aktivasi dengan nilai akar rata-rata kuadratnya tanpa mengurangi rata-rata, sehingga lebih cepat dan kini dipakai hampir semua model. |
| SwiGLU | Fungsi aktivasi berpintu yang menggabungkan Swish dengan gated linear unit, dipakai Llama dan turunannya dan disebut sebagai pilihan paling dominan saat ini. |
| gated linear | Desain lapisan feedforward yang mengalikan keluaran aktivasi dengan proyeksi kedua sebagai pintu, yang menurut video memberi peningkatan kinerja konsisten tanpa banyak biaya komputasi. |
| RoPE | Rotary position embedding, cara menyandikan posisi kata dengan memutar pasangan koordinat vektor query dan key sesuai posisinya sehingga perhatian hanya bergantung pada jarak relatif antarkata. |
| residual stream | Jalur utama data yang mengalir lurus dari bawah ke atas jaringan transformer dan ditambah hasil tiap lapisan, yang menurut video sebaiknya dijaga tetap bersih dari normalisasi. |
| weight decay | Teknik yang terus mengecilkan bobot model ke arah nol selama pelatihan, yang di video ternyata lebih berfungsi membantu optimisasi daripada mencegah overfitting. |
| softmax | Fungsi yang mengubah deretan angka menjadi distribusi peluang lewat eksponen dan pembagian, sehingga menjadi sumber utama ketidakstabilan di keluaran model dan di attention. |
| position embeddings | Informasi posisi yang ditambahkan ke model karena attention sendiri tidak tahu urutan kata, misalnya sinus-kosinus, embedding absolut, embedding relatif, atau RoPE. |
| stability | Kemampuan pelatihan berjalan mulus tanpa lonjakan loss atau gradien yang tiba-tiba, yang menjadi perhatian besar karena satu pelatihan gagal bisa membuang biaya jutaan dolar. |
| pre norm | Penempatan normalisasi sebelum attention dan feedforward di luar residual stream, yang membuat gradien lebih stabil dan memungkinkan jaringan dilatih lebih dalam. |
| hyperparameters | Pengaturan yang dipilih sebelum pelatihan seperti ukuran feedforward, jumlah kepala, rasio lebar dan kedalaman, ukuran kosakata, serta regularisasi, yang menurut video cukup longgar dan punya nilai bawaan yang aman. |
Kuliah ketiga Stanford CS336 ini membahas arsitektur dan hyperparameter model bahasa modern dengan cara survei, yaitu melihat pilihan yang dibuat oleh puluhan model seperti Llama, Gemma, Qwen, OLMo, dan T5. Pengajar menjelaskan bahwa cara terbaik memahami arsitektur adalah melatih model sendiri, tetapi cara terbaik kedua adalah belajar dari pengalaman orang lain dan melihat pilihan mana yang sudah menjadi kesepakatan bersama dan mana yang masih bebas diubah. Menurutnya, arsitektur adalah kumpulan kompromi yang rumit karena model harus mampu belajar dari data, berjalan efisien di GPU, dan tidak meledak di tengah pelatihan. Sejarahnya dimulai dari masa banyak eksperimen hingga GPT-3, lalu banyak orang meniru Llama 2, kemudian muncul tren perubahan demi stabilitas dan, tahun ini, demi konteks yang lebih panjang. Kuliah ini penting bagi siapa pun yang ingin melatih model sendiri karena memberi pilihan bawaan yang aman beserta alasan di baliknya.
Hampir semua model modern memindahkan layer norm ke luar residual stream (pre norm) agar gradien mengalir lancar dan lonjakan berkurang, serta memakai RMSNorm yang lebih cepat karena normalisasi bisa memakan hingga 25 persen waktu jalan walau hanya 0,17 persen FLOP. Bias juga dibuang, dan aktivasi berpintu seperti SwiGLU atau GeGLU dipakai dengan dimensi feedforward dikecilkan 2/3. Lapisan paralel ala PaLM kini jarang dipakai, sedangkan RoPE menjadi standar posisi dengan memutar pasangan koordinat vektor. Untuk hyperparameter, rasio feedforward sekitar 4 kali (2,67 untuk GLU), dimensi kepala kali jumlah kepala sama dengan dimensi model, rasio lebar terhadap kedalaman sekitar 100, dan kosakata 30 ribu untuk model satu bahasa atau 100 sampai 200 ribu untuk model multibahasa. Weight decay ternyata membantu optimisasi, bukan mencegah overfitting. Trik stabilitas meliputi z-loss, QK norm, dan logit soft-capping, lalu kuliah ditutup dengan GQA untuk menghemat KV cache saat inferensi serta campuran sliding window dan full attention untuk konteks panjang.
Kata kunci
- layer norm
- SwiGLU
- RoPE
- weight decay
- Mengikuti kuliah CS336 tentang arsitektur dan hyperparameter model bahasa modern, dengan survei dari banyak makalah.
- Membahas layer norm dan RMS norm (pre-norm), gated linear unit seperti SwiGLU dan GeGLU, position embeddings seperti RoPE, serta residual stream.
- Menelaah stabilitas pelatihan (softmax dengan eksponensial), weight decay, regularisasi, dan pilihan model dalam atau lebar.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.