| Istilah | Arti |
|---|---|
| gradient descent | Metode optimasi yang menggeser parameter model sedikit demi sedikit ke arah turunnya loss, dengan besar langkah ditentukan oleh learning rate. |
| SGD | Singkatan stochastic gradient descent, yaitu gradient descent yang menghitung gradien dari sebagian kecil data atau batch agar pelatihan lebih cepat pada dataset besar. |
| computational graph | Graf yang setiap simpulnya adalah satu transformasi fungsi, misalnya lapisan neural network, sehingga seluruh perhitungan model bisa ditelusuri maju dan mundur. |
| backprop | Kependekan backpropagation, algoritma yang mengirim sinyal gradien dari loss mundur melalui setiap lapisan dengan aturan rantai sambil memakai ulang suku yang sama agar efisien. |
| partial derivative | Turunan sebuah fungsi terhadap satu variabel saja sementara variabel lain dianggap tetap, dipakai untuk mengetahui pengaruh tiap parameter terhadap loss. |
| loss landscape | Permukaan yang menggambarkan nilai loss untuk setiap kombinasi parameter, yang di video dibahas bentuknya seperti datar, curam, atau memiliki banyak minimum lokal. |
| forward pass | Tahap mengalirkan input melalui semua lapisan model untuk menghasilkan prediksi lalu menghitung loss, sebelum gradien dikirim mundur. |
| MLP | Multilayer perceptron, jaringan sederhana berisi lapisan linear dan fungsi aktivasi bergantian, yang di video dipakai sebagai contoh backprop. |
| ReLU | Fungsi aktivasi yang meloloskan nilai positif dan mengubah nilai negatif menjadi nol, sehingga saat backprop berperan seperti penyaring gradien. |
| PyTorch | Pustaka deep learning yang memiliki autograd untuk menghitung gradien hampir semua fungsi secara otomatis, dan menjadi contoh alat differentiable programming di video. |
| differentiable | Sifat fungsi yang memiliki turunan, sehingga gradiennya bisa dihitung dan dipakai untuk melatih bagian model tersebut dengan backprop. |
| parameters | Nilai-nilai di dalam model seperti bobot lapisan yang terus disesuaikan selama pelatihan agar prediksi semakin mendekati jawaban benar. |
Video ini adalah kuliah kedua mata kuliah deep learning di MIT yang dibawakan Sara Beery, dan membahas bagaimana sebuah neural network benar-benar dilatih. Pertanyaan utamanya mendasar: bagaimana parameter di dalam model digeser sedikit demi sedikit sampai loss terhadap data latih menjadi kecil. Beery mengulas gradient descent dan SGD, memperkenalkan cara pandang computational graph, lalu menjelaskan backpropagation pada rantai lapisan, pada multilayer perceptron, dan pada graf berarah tanpa siklus atau DAG, kemudian menutup dengan gagasan differentiable programming. Materi ini penting karena hampir semua model modern dilatih dengan mekanisme yang sama, sehingga memahami alur maju, alur mundur, dan pembaruan parameter membantu penonton membaca perilaku pelatihan, memilih trik optimasi, dan memahami apa yang dikerjakan pustaka seperti PyTorch di balik layar.
Beery menjelaskan bahwa SGD menghitung gradien dari sebagian data atau batch karena dataset kini berukuran miliaran contoh, dan derau dari batch justru bisa membantu keluar dari minimum lokal, walau pembaruan menjadi tidak stabil bila kelas data timpang. Ia membahas momentum, dengan contoh nilai 0,5 yang mempercepat konvergensi sementara nilai terlalu tinggi membuat berosilasi, serta beragam bentuk loss landscape: datar, banyak minimum lokal, vanishing gradient, dan exploding gradient yang diatasi dengan gradient clipping. Ia juga menyinggung evolution strategy dan tren dari ReLU ke GeLU yang kontinu, terdiferensiasi, dan mulus. Inti backprop adalah aturan rantai yang menghitung suku bersama sekali saja; pada lapisan linear, arah mundur cukup mengalikan gradien dengan bobot yang ditranspos, sedangkan ReLU menjadi matriks penyaring. Untuk DAG hanya perlu operasi merge dan branch, dengan gradien cabang dijumlahkan. Contoh penutup meliputi visualisasi fitur, DeepDream, dan menggabungkan CLIP dengan GAN untuk membuat gambar dari teks.
Kata kunci
- gradient descent
- computational graph
- partial derivative
- backprop
- Mengikuti kuliah 2 deep learning tentang cara melatih neural network: tinjauan gradient descent, SGD, dan ide optimisasi.
- Memahami computational graph, forward pass, dan backprop lewat turunan parsial untuk menghitung gradien loss terhadap parameter.
- Melihat bahwa MLP dan lapisan jaringan bisa dituliskan sebagai perkalian matriks, serta fungsi seperti ReLU yang differentiable.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.