Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 4 - Reinforcement Learning with LLMs
| Istilah | Arti |
|---|---|
| policy | Aturan pengambil keputusan dalam reinforcement learning, yang di video ini berarti distribusi probabilitas LLM saat memilih token atau respons berikutnya. |
| reward model | Model terpisah yang dilatih dari preferensi manusia untuk memberi skor seberapa baik sebuah respons, sehingga manusia tidak perlu menilai setiap jawaban saat pelatihan. |
| advantage | Ukuran seberapa jauh lebih baik atau lebih buruk sebuah token atau respons dibandingkan hasil rata-rata yang diharapkan, dipakai PPO dan GRPO menggantikan reward mentah. |
| value function | Model yang menebak reward akhir yang diharapkan dari jawaban yang baru setengah jadi, dilatih bersama policy dalam PPO sebagai pembanding per token. |
| GRPO | Group Relative Policy Optimization, metode RL yang menghitung advantage dengan membandingkan reward beberapa respons untuk prompt yang sama sehingga tidak memerlukan value function. |
| PPO | Proximal Policy Optimization, metode RL yang memakai advantage dari value function serta clipping dan penalti KL agar model tidak berubah terlalu jauh. |
| token level | Tingkat penilaian per potongan kata, berlawanan dengan penilaian seluruh jawaban sekaligus, yang penting untuk tahu langkah mana dalam jawaban yang benar atau salah. |
| theta | Simbol huruf Yunani untuk kumpulan parameter atau bobot model yang diubah selama pelatihan agar reward yang diharapkan menjadi maksimal. |
| divergence | Ukuran perbedaan antara dua distribusi probabilitas, di video ini KL divergence, yang dipakai untuk menghukum model bila menjauh dari model acuan atau model guru. |
| objective function | Rumus besaran yang ingin dimaksimalkan saat pelatihan RL, misalnya reward atau advantage yang diharapkan, berbeda dari loss yang biasanya diminimalkan. |
| current policy | Versi model yang sedang diperbarui bobotnya pada langkah pelatihan saat ini, ditulis sebagai pi theta di dalam rumus PPO dan GRPO. |
| old policy | Versi model sebelumnya yang dipakai untuk menghasilkan satu kumpulan respons, yang lalu dipakai ulang untuk beberapa kali update melalui rasio probabilitas. |
Kuliah keempat Stanford CME295 ini membahas metode pelatihan berbasis reinforcement learning (RL) yang kini populer pada tahap post-training LLM, yaitu preference tuning dan peningkatan kemampuan reasoning. Setelah mengulas pretraining dan supervised fine-tuning dari kuliah sebelumnya, pengajar Afshin memetakan konsep RL ke dunia LLM: agent adalah LLM, action adalah token atau seluruh respons, policy adalah distribusi probabilitas keluaran model, dan reward datang dari reward model yang dilatih dengan preferensi manusia (RLHF) atau dari pemeriksaan jawaban yang bisa diverifikasi seperti soal matematika dan kode (RLVR). Pertanyaan utamanya adalah bagaimana merumuskan fungsi tujuan untuk memaksimalkan reward yang diharapkan lalu menghitung gradiennya. Kuliah ini penting karena rumus PPO dan GRPO di makalah tampak menakutkan, sedangkan di sini rumus itu dibangun dari intuisi. Pengajar juga mengingatkan bahwa notasi antarmakalah sering berbeda, misalnya huruf R yang bisa berarti reward atau rasio, dan L yang kadang justru harus dimaksimalkan.
Di papan tulis, Afshin menurunkan policy gradient dengan trik turunan logaritma, lalu memperkenalkan importance sampling ratio agar respons yang mahal untuk dihasilkan bisa dipakai beberapa kali update. Ia menyebut tiga masalah pendekatan dasar: gradien yang sangat bervariasi (contoh reward 101 dan 100), tidak adanya penilaian per token (contoh Teddy dalam kotak tertutup yang diceritakan memanjat keluar padahal jawabannya benar), dan risiko model menyimpang terlalu jauh hingga terjadi reward hacking. PPO menjawabnya dengan advantage dari value function yang dilatih bersama policy, clipping rasio terhadap old policy, dan penalti KL divergence terhadap reference policy. GRPO membuang value function dengan membandingkan reward beberapa respons dalam satu grup, tetapi normalisasi panjangnya membuat model memilih jawaban salah yang lebih panjang, sehingga lahir perbaikan seperti DAPO dan Dr GRPO. Shervin menutup dengan on-policy distillation memakai reverse KL dari model guru, self-distillation dengan model yang sama, dan distilasi multi-guru per domain.
Kata kunci
- PPO
- GRPO
- advantage
- reward model
- Mengikuti kuliah 4 CME 295 tentang training LLM berbasis reinforcement learning, dengan matematika yang dibangun dari intuisi lebih dulu.
- Menurunkan objektif policy, rasio policy baru terhadap lama, advantage, value function, dan reward model pada tingkat token, hingga PPO dan GRPO.
- Membahas masalah praktis seperti respons yang makin panjang saat performa sudah plateau, serta peran divergence untuk menjaga policy.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.