| Istilah | Arti |
|---|---|
| RLHF | Singkatan reinforcement learning from human feedback, metode melatih chatbot memakai pilihan manusia atas jawaban yang lebih baik, yang menjadi pokok bahasan video ini. |
| reward model | Model yang memberi satu skor angka untuk setiap jawaban, dilatih dari data preferensi manusia lalu dipakai untuk menilai jawaban chatbot saat pelatihan. |
| preference | Pilihan manusia tentang mana yang lebih baik di antara dua jawaban chatbot, jenis umpan balik yang paling mudah diberikan dan menjadi bahan RLHF. |
| Bradley Terry | Model statistik yang mengubah selisih skor dua jawaban menjadi peluang satu jawaban lebih disukai, setara dengan rating ELO dalam satuan berbeda. |
| Instruct GPT | Makalah OpenAI yang memperkenalkan alur RLHF untuk melatih ChatGPT, yang tiga tahapnya dijelaskan ulang di video ini. |
| SFT | Singkatan supervised fine-tuning, langkah melatih model meniru jawaban tulisan manusia, yang menurut video berguna tetapi punya empat kelemahan. |
| softmax | Fungsi matematika yang mengubah sekumpulan angka menjadi peluang yang jumlahnya satu, dipakai untuk menghitung seberapa sering chatbot mainan memilih tiap jawaban. |
| reference model | Salinan model awal yang dibekukan sebelum pelatihan preferensi, dipakai sebagai pembanding agar model baru tidak melenceng terlalu jauh. |
| penalty | Pengurangan reward berdasarkan jarak KL antara model baru dan reference model, agar chatbot tetap di wilayah tempat reward model masih akurat. |
| advantage | Selisih antara reward satu jawaban dan rata-rata reward dalam satu ronde, dipakai untuk menentukan jawaban mana yang didorong naik atau turun. |
| GRPO | Singkatan group relative policy optimization, metode reinforcement learning yang juga memakai rata-rata kelompok jawaban sebagai pembanding reward. |
| policy gradient | Cara reinforcement learning memperbarui model dengan mengalikan arah perubahan peluang tiap jawaban dengan reward atau advantage yang diterimanya. |
Dalam video ini, Zachary Huang menjelaskan RLHF (reinforcement learning from human feedback), metode yang dipakai melatih ChatGPT dan berasal dari makalah Instruct GPT, dengan membangun setiap bagiannya dari nol di satu papan dan kode. Pertanyaan utamanya: bagaimana pilihan manusia, seperti saat ChatGPT menanyakan jawaban mana yang lebih disukai, bisa dipakai untuk melatih model? Ia memakai chatbot mainan yang hanya punya empat jawaban untuk pertanyaan cara membalik list di Python, yaitu jawaban benar, jawaban bertele-tele, jawaban salah, dan penolakan, dengan peluang awal 0,2, 0,4, 0,3, dan 0,1. Model ini hanya punya empat angka yang diubah menjadi peluang lewat softmax, sementara salinan awalnya dibekukan sebagai reference model. Pendekatan sederhana ini membuat konsep yang biasanya abstrak menjadi konkret karena setiap angka terlihat di layar, sehingga penonton bisa memahami alasan di balik setiap tahap RLHF, mulai dari SFT, reward model, hingga pelatihan dengan reinforcement learning.
SFT bisa menaikkan peluang jawaban benar dari 0,2 menjadi 0,84 dalam lima langkah, tetapi punya empat kelemahan: butuh orang menulis jawaban, banyak prompt tidak punya satu jawaban benar, tidak tahu jawaban salah mana yang lebih buruk, dan hanya bisa meniru. RLHF lalu belajar dari preference, yaitu pilihan mana dari dua jawaban yang lebih baik. Dari seribu pasangan preferensi, reward model dilatih dengan model Bradley Terry, mirip rating ELO di catur, memakai maximum likelihood sehingga loss turun dari 693 menjadi 478, dengan skor akhir jawaban benar 2,0 dan bertele-tele 0,43. Tahap berikutnya melatih chatbot lewat policy gradient dengan penalty KL agar tidak menjauh dari reference model dan terhindar dari reward hacking. Setiap reward dibandingkan dengan rata-rata ronde untuk menghasilkan advantage, cara yang juga dipakai GRPO, sedangkan Instruct GPT memakai PPO. Setelah 3.000 ronde dengan 16 jawaban per ronde, peluang jawaban benar naik menjadi 0,911 dengan KL 1,21.
Kata kunci
- RLHF
- reward model
- Instruct GPT
- GRPO
- Menjelaskan RLHF dari nol: reward model dari preferensi manusia (Bradley-Terry) dan pelatihan dengan policy gradient.
- Memahami penalty KL agar model tetap dekat dengan reference model.
- Menelusuri kode chatbot mainan berisi empat jawaban sampai versi GRPO dengan advantage.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.