| Istilah | Arti |
|---|---|
| REINFORCE | Algoritma policy gradient paling dasar yang menaikkan peluang langkah sesuai skor yang diterimanya, topik utama yang dibangun dan dikodekan dalam video ini. |
| policy gradient | Keluarga metode reinforcement learning yang memperbaiki cara bertindak agent dengan mendorong peluang langkah ke arah yang menghasilkan reward lebih besar. |
| policy | Aturan yang menentukan langkah apa yang diambil agent di setiap sel, di video ini disimpan sebagai tabel angka lalu diubah menjadi peluang. |
| reward | Poin yang diterima agent setelah bergerak, yaitu plus 10 saat mencapai harta, minus 5 saat jatuh ke lubang, dan nol untuk langkah lain. |
| agent | Pihak yang belajar dan mengambil keputusan, dalam video ini robot di labirin yang hanya melihat sel tempat ia mendarat dan reward-nya. |
| episode | Satu permainan utuh dari awal sampai robot mencapai harta, jatuh ke lubang, atau habis 50 langkah, ibarat rekaman pertandingan untuk pelatih. |
| discount | Pengurangan nilai reward untuk langkah yang lebih jauh dari akhir permainan, agar langkah yang paling dekat dengan hasil mendapat kredit terbesar. |
| gamma | Angka faktor discount yang di video bernilai 0,9, sehingga setiap langkah lebih awal hanya mendapat 90 persen dari skor langkah berikutnya. |
| theta | Kumpulan 48 angka yang menyimpan policy, empat angka untuk setiap gerakan di masing-masing 12 sel, dan diperbarui sedikit demi sedikit selama pelatihan. |
| probabilities | Peluang memilih tiap gerakan yang dihasilkan softmax dari angka theta, awalnya masing-masing 0,25 dan jumlahnya selalu satu. |
| PPO | Proximal Policy Optimization, algoritma reinforcement learning yang lebih kompleks dan menurut video sempat dikalahkan REINFORCE dalam pelatihan language model oleh Cohere. |
| Python | Bahasa pemrograman yang dipakai video untuk menulis permainan labirin dan algoritma REINFORCE dalam sekitar 20 baris kode. |
Video dari Zachary Huang ini menjelaskan REINFORCE, algoritma policy gradient paling dasar, lewat sebuah permainan labirin sederhana. Seorang robot bisa bergerak ke atas, bawah, kiri, atau kanan untuk mencapai harta bernilai 10 poin, sementara dua lubang di labirin memberi hukuman minus 5. Tantangannya, lantai licin sehingga dengan peluang 20 persen robot tergelincir satu sel ke bawah ke arah lubang. Pada awalnya agent hampir selalu jatuh ke lubang, tetapi setelah belajar ia menang 96 dari 100 permainan terakhir. Video ini juga menyebut bahwa pada 2024 Cohere melatih language model dengan REINFORCE dan hasilnya mengalahkan PPO. Materi ini penting karena membangun rumus policy gradient sepotong demi sepotong, lalu menerapkannya dalam sekitar 20 baris Python, sehingga penonton memahami dasar pelatihan AI dengan reward.
Video lebih dulu menghitung bahwa rute pendek lewat baris tengah hanya berhasil 64 persen, yaitu 0,8 kali 0,8, sedangkan rute panjang lewat baris atas berhasil 90,7 persen. Policy disimpan sebagai theta berisi 48 angka, empat untuk setiap sel dari 12 sel, lalu softmax mengubahnya menjadi probabilities yang awalnya masing-masing 0,25. Satu permainan disebut episode dan dicatat seperti rekaman pertandingan bagi pelatih, sementara agent tanpa latihan hanya menemukan harta 2,6 persen dari 100.000 permainan. Turunan rumus menunjukkan bahwa aturan labirin hilang dari perhitungan, sehingga agent cukup tahu langkah yang dipilih dan hasilnya. Skor setiap langkah diberi discount dengan gamma 0,9 agar langkah yang dekat dengan reward mendapat kredit lebih besar, lalu theta diperbarui dengan learning rate 0,01. Setelah 5.000 episode, agent mencapai harta sekitar 90 persen dengan memilih jalur atas, dan konsep yang sama dipakai untuk language model.
Kata kunci
- REINFORCE
- policy gradient
- reward
- PPO
- Menjelaskan REINFORCE (policy gradient paling dasar) lewat robot yang belajar menemukan harta di labirin licin.
- Memahami policy, reward, discount (gamma), dan cara mengubah return menjadi pembaruan parameter theta.
- Mengimplementasikan REINFORCE dalam sekitar 20 baris Python lalu menghubungkannya ke pelatihan language model.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.