| Istilah | Arti |
|---|---|
| back propagation | Cara menghitung gradien semua weight dengan berjalan mundur dari loss sambil menghitung gradien setiap neuron sekali lalu memakainya ulang. |
| gradient | Nilai kemiringan loss terhadap satu weight yang menunjukkan arah dan besarnya perubahan, misalnya gradien W10 sebesar -18,168 di video ini. |
| chain rule | Aturan kalkulus untuk fungsi di dalam fungsi, yaitu kemiringan dikalikan sepanjang satu jalur dan dijumlahkan bila ada beberapa jalur. |
| gradient descent | Cara memperkecil loss dengan menggeser setiap angka sedikit melawan kemiringannya, seperti melangkah kecil menuruni bukit berulang kali. |
| loss | Angka yang mengukur seberapa salah jaringan, di video ini dihitung sebagai kuadrat selisih jawaban sehingga bernilai 19,829 di awal. |
| slope | Kemiringan suatu fungsi yang memberi tahu arah menurun, dipakai gradient descent untuk menentukan ke mana dan sejauh apa melangkah. |
| weights | Angka pengali pada setiap panah antar-neuron, berjumlah 10 di jaringan contoh, yang diubah sedikit demi sedikit selama pelatihan. |
| bias | Satu angka tambahan milik setiap neuron yang dijumlahkan setelah perkalian masukan dan weight, dimulai dari nol di jaringan contoh. |
| neuron | Unit kecil yang mengalikan masukan dengan weight, menjumlahkannya, lalu menambah bias untuk menghasilkan satu angka keluaran. |
| network | Susunan neuron dalam beberapa lapisan yang saling mengumpan, di video ini berupa jaringan mungil dengan 15 angka yang dipelajari untuk mengalikan dua bilangan. |
| backward pass | Tahap berjalan mundur dari keluaran ke masukan untuk menghitung gradien, kebalikan dari forward pass yang menghasilkan tebakan. |
| nudge | Menggeser sebuah angka sedikit sekali, misalnya menambah 0,01, untuk melihat seberapa besar loss ikut berubah sebagai cara memahami kemiringan. |
Zachary Huang berjanji membuat backpropagation mudah dipahami dalam 24 menit, tanpa langsung menyodorkan dinding rumus penuh delta dan indeks. Ia memakai satu jaringan saraf mungil yang ditugasi mengalikan dua angka, misalnya 2 dan 3 harus menghasilkan 6, dengan sembilan contoh data. Jaringan ini punya dua masukan, dua hidden layer berisi dua neuron, dan satu neuron keluaran, sehingga ada 10 weight dan 5 bias, total 15 angka yang dipelajari. Video ini menunjukkan bahwa jaringan saraf hanyalah fungsi bersarang yang besar, sehingga chain rule bisa menghitung gradien setiap weight. Gagasan kuncinya adalah satu penulisan ulang chain rule: hitung gradien setiap neuron sekali saja, lalu pakai ulang untuk weight dan bias yang masuk ke neuron itu. Penonton diajak menghitung semua gradien sendiri dengan angka yang tampil di layar.
Pada forward pass, neuron mengalikan masukan dengan weight, menjumlahkan, menambah bias, lalu memakai ReLU yang bekerja seperti gerbang. Keluaran awal 1,547 jauh dari jawaban 6, sehingga loss berupa squared error bernilai 19,829. Zachary lalu menjelaskan tiga bekal: gradient descent seperti menuruni bukit dengan learning rate, turunan parsial yang menggeser satu masukan sementara yang lain ditahan, dan chain rule di mana kemiringan dikalikan sepanjang jalur dan dijumlahkan antarjalur. Gradien W10 dihitung -18,168 dan W5 -28,766. Satu langkah gradient descent dengan learning rate 0,005 menurunkan loss dari 19,829 menjadi 7,674. Ia menjelaskan pentingnya melatih semua contoh dan mini-batch, lalu setelah 2.000 langkah mean squared error tinggal 0,0011 dan kesembilan jawaban meleset kurang dari 0,07. Metode ini dipopulerkan makalah Rumelhart, Hinton, dan Williams tahun 1986.
Kata kunci
- back propagation
- chain rule
- gradient descent
- loss
- Memahami backpropagation lewat satu jaringan kecil dengan 10 bobot dan 5 bias, sampai bisa menghitung setiap gradien sendiri.
- Mengenali alat belajar jaringan (loss, slope, gradient descent) dan penulisan ulang chain rule yang menyederhanakannya.
- Menelusuri gradien bobot dengan tangan, lalu melihat backward pass menghitung tiap bagian bersama sekali dan jaringan belajar perkalian.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.