| Istilah | Arti |
|---|---|
| PPO | Proximal Policy Optimization, algoritma reinforcement learning dari OpenAI tahun 2017 yang di video ini dibangun dari nol dan disebut dipakai untuk mengubah GPT-3 menjadi ChatGPT. |
| Cartpole | Permainan simulasi berupa kereta di atas rel dengan tiang yang harus dijaga tetap tegak, dipakai di video ini sebagai bahan latihan PPO. |
| policy | Aturan yang dipelajari agent untuk memilih langkah, di video ini berupa jaringan saraf kecil berbobot delapan yang memberi peluang dorong kiri atau kanan. |
| advantage | Selisih antara skor sebuah langkah dan skor yang biasanya didapat di keadaan itu, sehingga langkah buruk bernilai negatif walau tetap mendapat poin. |
| importance ratio | Perbandingan peluang sebuah langkah menurut policy sekarang dengan peluangnya saat permainan dimainkan, dipakai untuk menimbang data lama ketika dipelajari ulang. |
| epsilon | Angka batas pada clip PPO yang di video ini bernilai 0,2, sehingga importance ratio hanya dihitung di antara 0,8 dan 1,2. |
| reinforcement learning | Cara melatih AI lewat coba-coba di sebuah lingkungan dengan imbalan poin, sehingga agent belajar memilih langkah yang menghasilkan imbalan terbesar. |
| epoch | Satu putaran pelatihan atas kumpulan permainan yang sama, dan PPO di video ini menjalankan empat epoch untuk setiap batch. |
| gradient | Arah dan besar perubahan bobot yang membuat hasil pelatihan membaik, yang di video ini menjadi nol ketika sebuah langkah terkena clip. |
| batch | Kelompok data yang diproses bersama dalam satu pembaruan, di video ini berupa lima permainan Cartpole dengan total 760 langkah. |
| GPT | Keluarga model bahasa buatan OpenAI yang di video ini dijadikan contoh penerapan PPO, dengan kata berikutnya sebagai langkah dan model penilai sebagai pemberi skor. |
| forecast | Perkiraan skor yang biasanya didapat dari suatu keadaan, di video ini dihitung dengan regresi linear lalu dipakai untuk menghitung advantage. |
Zachary Huang menjelaskan PPO, algoritma reinforcement learning yang dipakai pada tahap pelatihan yang mengubah GPT-3 menjadi ChatGPT, lewat contoh permainan Cartpole. Dalam Cartpole, sebuah kereta di atas rel harus didorong ke kiri atau kanan agar tiang di atasnya tetap tegak, dengan satu poin untuk setiap langkah dan batas 500 langkah. Video ini membangun setiap bagian PPO dari nol, menuliskannya dalam sekitar 20 baris Python, lalu menelusuri satu pembaruan bobot dengan semua angka ditampilkan. Pertanyaan utamanya adalah bagaimana membuat pelatihan lebih stabil dan hemat dibanding metode lama bernama REINFORCE. Bagi penonton, video ini penting karena membuka cara kerja salah satu teknik inti di balik model bahasa modern dengan contoh yang sangat konkret.
Policy yang dipakai adalah jaringan saraf terkecil dengan empat angka masukan dan dua keluaran, total delapan bobot, dan softmax mengubah skor menjadi peluang dorong kiri atau kanan. PPO menambah tiga hal pada REINFORCE. Pertama, advantage, yaitu skor langkah dikurangi forecast dari regresi linear, sehingga 25 langkah yang menjatuhkan tiang dalam satu batch bernilai negatif. Kedua, pemakaian ulang permainan selama empat epoch dengan importance ratio, misalnya langkah 276 yang peluangnya turun dari 0,167 menjadi 0,091 sehingga rasionya 0,546. Ketiga, clip dengan epsilon 0,2 yang membatasi rasio di antara 0,8 dan 1,2, sehingga langkah yang terpotong tidak mendapat gradient sama sekali. Setelah 400 pembaruan atau 2.000 permainan, rata-rata 100 permainan terakhir mencapai 473 langkah. Untuk GPT, bobot diganti bobot model bahasa, langkah menjadi kata berikutnya, dan Cartpole diganti model penilai jawaban.
Kata kunci
- PPO
- policy
- advantage
- importance ratio
- Memahami algoritma PPO lewat contoh CartPole: kereta dengan tiang yang harus tetap tegak.
- Menguraikan rumus update policy: advantage, importance ratio yang dibatasi epsilon agar pembaruan tidak berlebihan, dan forecast nilai.
- Menghubungkannya ke reinforcement learning untuk model bahasa seperti GPT, tempat langkah kereta menjadi kata berikutnya dan model kedua menilai jawaban.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.