Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CS336 Language Modeling from Scratch | Spring 2026 | Lecture 1: Overview, Tokenization
| Istilah | Arti |
|---|---|
| tokenizer | Alat yang mengubah teks mentah menjadi deretan angka token dan sebaliknya, dan di video ini versi BPE harus dibuat sendiri pada tugas pertama. |
| scaling laws | Pola matematis yang memprediksi loss model pada skala besar dari hasil banyak eksperimen kecil, menjadi topik tugas ketiga kursus ini. |
| scaling recipe | Aturan yang memetakan anggaran FLOPs ke satu set hyperparameter seperti learning rate dan batch size, sehingga hasil eksperimen kecil bisa diekstrapolasi ke skala besar. |
| Mamba | Arsitektur state-space model atau atensi linear yang disebut di video sebagai alternatif atensi penuh yang biayanya kuadratik terhadap panjang urutan. |
| DeltaNet | Arsitektur atensi linear, disebut sebagai Gated DeltaNet di video, yang sering digabung secara hibrida dengan atensi biasa agar lebih hemat komputasi. |
| DPO | Direct Preference Optimization, cara sederhana menyelaraskan model memakai data preferensi tanpa RL penuh, pernah menjadi isi tugas kelima kursus ini. |
| GRPO | Algoritma reinforcement learning untuk melatih model agar memilih respons yang lebih baik, disebut bersama PPO sebagai bagian materi alignment. |
| kernels | Fungsi yang berjalan di GPU, dan di video ini kernel kustom ditulis dengan Triton untuk mengurangi perpindahan data antara memori dan unit hitung. |
| FLOPs | Jumlah operasi bilangan pecahan yang dipakai untuk mengukur besar komputasi, misalnya anggaran pelatihan yang dihitung kira-kira enam kali parameter kali token. |
| compression ratio | Rata-rata jumlah byte teks yang diwakili satu token, contohnya 2,5 pada tokenizer GPT-5, dan makin tinggi berarti urutan token makin pendek. |
| assignments | Lima tugas besar kursus yang dikerjakan dari nol dengan unit test, mencakup dasar, sistem, scaling laws, data, dan alignment, beberapa lengkap dengan leaderboard. |
| resource accounting | Kebiasaan menghitung ke mana saja FLOPs dan memori terpakai selama pelatihan, yang dilatih di tugas pertama dan dibahas pada kuliah berikutnya. |
Video ini adalah kuliah pertama Stanford CS336 edisi ketiga, dibawakan Percy Liang bersama Tatsu dan para asisten, tentang cara membangun model bahasa dari nol. Percy menjelaskan bahwa peneliti kini makin terputus dari teknologi dasarnya karena cukup memberi prompt, padahal abstraksi itu bocor dan riset mendasar menuntut pemahaman seluruh tumpukan. Masalahnya, model frontier sangat mahal dan cara pembuatannya dirahasiakan, sementara perilaku model kecil belum tentu sama dengan model besar. Karena itu kelas ini fokus pada hal yang tetap berlaku di skala besar, yaitu mekanika cara kerja dan pola pikir efisiensi, sedangkan intuisi soal data dan arsitektur hanya bisa diperoleh lewat eksperimen. Percy juga meluruskan makna bitter lesson: yang penting bukan sekadar skala, melainkan algoritma yang tetap efisien saat diskalakan. Pertanyaan pokoknya adalah model terbaik apa yang bisa dibangun dengan anggaran data dan compute tertentu, dan kuliah ini memberi peta lengkap kursus sekaligus pengantar tokenisasi.
Percy merangkum sejarah dari model N-gram, LSTM, Seq2Seq, dan transformer hingga GPT-3, Chinchilla, Llama, DeepSeek, dan Qwen. Kursus punya lima tugas: dasar (tokenizer BPE, transformer, optimizer, dan resource accounting dengan rumus kira-kira 6 kali N kali D), sistem (kernel Triton, paralelisme, inferensi prefill dan decode, speculative decoding), scaling laws (API pelatihan tiruan, scaling recipe, aturan sekitar 20 token per parameter), data (evaluasi, penyaringan, deduplikasi crawl mentah), dan alignment (DPO dan GRPO). Arsitektur seperti Mamba, Gated DeltaNet, dan mixture of experts juga disinggung. AI boleh dipakai lewat berkas AGENTS.md yang bersifat mendidik, dan compute disediakan Modal. Bagian tokenisasi membandingkan tokenizer karakter, byte dengan compression ratio 1, dan kata yang kosakatanya tak terbatas, lalu memperkenalkan BPE yang menggabungkan pasangan token paling sering. Contoh tokenizer GPT-5 memberi rasio 2,5 byte per token, dan demo "the cat in the hat" membuat token 256 untuk "th".
Kata kunci
- tokenizer
- scaling laws
- resource accounting
- GRPO
- Mengikuti kuliah pembuka CS336 Language Models from Scratch di Stanford: alasan membangun language model dari nol di era coding agent.
- Memetakan komponen kelas: tokenizer, arsitektur (attention, linear attention seperti Mamba dan gated DeltaNet), efisiensi dan kernel, scaling laws, serta inferensi.
- Membahas assignment, termasuk implementasi DPO dan GRPO, dan pengantar resource accounting.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.