Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Deep reinforcement learning
Bagian 2 · Fondasi machine learning
| Istilah | Arti |
|---|---|
| deep reinforcement learning | Gabungan reinforcement learning dengan neural network besar, dipakai di video ini untuk melatih perilaku agen dari pengalaman yang dijalankan berulang kali. |
| reinforcement learning | Cara melatih agen agar mengambil keputusan berurutan dari pengalaman dan sinyal reward, bukan dari jawaban benar yang diberikan langsung. |
| policy | Fungsi yang memetakan state atau observation ke action, biasanya berupa neural network, dan parameternya dilatih agar perilaku agen membaik. |
| reward | Sinyal angka yang menyatakan seberapa baik sebuah state dan action, misalnya posisi benda dekat tujuan atau upvote dari pengguna chatbot. |
| state | Kondisi lengkap dunia pada suatu waktu, misalnya posisi lengan robot dan benda, yang cukup untuk menentukan keputusan berikutnya. |
| observation | Informasi yang bisa diamati agen dari dunia, seperti gambar kamera atau pesan terakhir pengguna, yang mungkin tidak memuat seluruh state. |
| action | Keputusan yang diambil agen pada setiap langkah, misalnya posisi sendi berikutnya pada robot atau pesan balasan pada chatbot. |
| trajectory | Urutan state, observation, action, dan reward dari satu kali agen dijalankan, yang menjadi data utama untuk belajar di video ini. |
| Markov decision process | Kerangka formal berisi state, action, dynamics, reward, dan distribusi awal, yang dijelaskan sebagai dasar untuk memodelkan masalah RL. |
| value function | Fungsi yang mengukur total reward yang diharapkan dari sebuah state jika agen terus mengikuti policy tertentu dari titik itu. |
| Q function | Fungsi yang mirip value function tetapi menghitung nilai dari state dan action pertama, dan akan dibahas lebih dalam di kuliah berikutnya. |
| imitation learning | Cara melatih policy dengan meniru demonstrasi dari perilaku yang sudah bagus, dan menjadi metode pertama yang diperkenalkan di video ini. |
| dynamics | Aturan yang menentukan state berikutnya dari state dan action sekarang, misalnya bagaimana lengan dan handuk bergerak setelah robot bertindak. |
| neural network | Model dengan lapisan parameter yang bisa dilatih, dan dipakai di video ini sebagai bentuk policy, misalnya convolutional network atau transformer. |
Video ini adalah kuliah pertama Stanford CS224R tentang deep reinforcement learning, diajarkan oleh Chelsea yang meneliti robotika, reinforcement learning, dan language model. Judul di situs memakai nama Modul 6, tetapi isi videonya adalah pengantar kursus: tujuan, logistik singkat, dan alasan mengapa deep RL penting dipelajari. Pertanyaan utamanya adalah apa bedanya reinforcement learning dengan machine learning biasa. Pada supervised learning, data berupa pasangan input dan output yang sudah diberi label, sedangkan reinforcement learning belajar perilaku dari pengalaman dan umpan balik yang tidak langsung. Bagi penonton pemula, ini penting karena banyak sistem modern, dari robot sampai pelatihan lanjutan LLM, bergantung pada cara berpikir ini.
Isi konkretnya adalah cara memodelkan perilaku. Agen mengamati state atau observation, mengambil action lewat policy yang biasanya berupa neural network, lalu menghasilkan trajectory yang diberi reward. Pada contoh robot, state bisa berupa posisi lengan dan benda, dengan action berupa posisi sendi berikutnya yang dikirim 20 kali per detik. Pada contoh chatbot, observation adalah pesan terakhir pengguna, dan reward bisa +1 untuk upvote serta -10 untuk downvote. Dynamics menentukan state berikutnya, dan properti Markov berarti state berikutnya hanya bergantung pada state dan action saat ini. Jika hanya observation yang tersedia, policy perlu memakai riwayat observasi. Tujuan RL adalah memaksimalkan jumlah reward sepanjang trajectory. Value function dan Q function dipakai untuk mengukur seberapa baik sebuah policy. Kuliah ini menutup dengan daftar metode: imitation learning, policy gradient, actor-critic, value-based, dan model-based.
Kata kunci
- deep reinforcement learning
- policy
- reward
- Markov decision process
- Memahami apa itu deep reinforcement learning: masalah pengambilan keputusan berurutan (mengamati lalu bertindak, berulang) dan contoh pemakaiannya, dari robot sampai pembuatan gambar dan desain chip.
- Merepresentasikan perilaku dengan state, observation, action, dan trajectory, serta policy berupa neural network yang memetakan keadaan ke aksi.
- Merumuskan masalah RL lewat reward dan dynamics, lalu mengenal istilah Markov decision process, value function, dan Q function.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.