Building makemore Part 3: Activations & Gradients, BatchNorm

AdvanceEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
standard deviation	Ukuran seberapa lebar sebaran angka di sekitar rata-ratanya, dipakai di video ini untuk menjaga agar activations tidak membesar atau mengecil dari lapisan ke lapisan.
initialization	Cara memberi nilai awal pada bobot dan bias sebelum pelatihan dimulai, yang di video ini terbukti sangat memengaruhi loss awal dan kecepatan belajar jaringan.
gain	Faktor pengali tambahan pada skala bobot awal untuk mengimbangi efek penyempitan fungsi aktivasi, misalnya 5/3 untuk tanh dan akar dua untuk ReLU.
running mean	Rata-rata yang diperbarui sedikit demi sedikit selama pelatihan di dalam batch normalization, agar saat inference model bisa memproses satu contoh tanpa membutuhkan satu batch.
activations	Nilai keluaran setiap neuron saat data mengalir maju melalui jaringan, yang di video ini diperiksa sebarannya agar tidak terlalu jenuh di ujung fungsi tanh.
gradients	Angka yang menunjukkan arah dan besar perubahan bobot untuk menurunkan loss, dihitung lewat backpropagation dan bisa hilang bila neuron berada di daerah datar fungsi aktivasi.
normalization layer	Lapisan yang menstandarkan activations agar rata-ratanya nol dan sebarannya satu, misalnya batch normalization, layer normalization, dan group normalization, sehingga jaringan dalam lebih stabil dilatih.
neural net	Model yang tersusun dari lapisan-lapisan neuron berbobot, di video ini berupa MLP untuk menebak karakter berikutnya dari tiga karakter sebelumnya.
bias	Angka tambahan yang digeser ke hasil perkalian bobot dalam sebuah lapisan, yang menjadi sia-sia bila lapisan itu langsung diikuti batch normalization karena rata-ratanya dikurangkan.
loss	Angka yang mengukur seberapa salah tebakan model, di video ini dihitung sebagai negative log likelihood dengan nilai awal ideal sekitar 3,29 untuk 27 karakter.
histogram	Grafik batang yang menunjukkan berapa banyak nilai jatuh di setiap rentang, dipakai Karpathy untuk melihat sebaran activations, gradients, dan bobot di tiap lapisan.
layers	Tahap-tahap pengolahan yang disusun berurutan dalam jaringan, seperti lapisan linear, batch normalization, dan tanh yang di video ini ditumpuk seperti balok Lego.

Dalam bagian ketiga seri makemore ini, Andrej Karpathy sengaja bertahan lebih lama pada multilayer perceptron (MLP) untuk model bahasa tingkat karakter sebelum beralih ke recurrent neural network. Tujuannya adalah membangun intuisi tentang perilaku activations di dalam jaringan dan gradients yang mengalir mundur selama pelatihan. Menurut Karpathy, pemahaman ini kunci untuk mengerti mengapa jaringan yang sangat dalam sulit dioptimalkan dengan metode berbasis gradien, dan mengapa banyak arsitektur modern lahir untuk mengatasi masalah tersebut. Video ini membahas tiga hal utama: cara melakukan initialization bobot dengan benar, pengenalan batch normalization sebagai salah satu inovasi modern pertama yang menstabilkan pelatihan jaringan dalam, serta alat diagnostik berupa statistik dan histogram untuk memeriksa apakah sebuah neural net berada dalam kondisi sehat. Bagi penonton yang ingin melatih model sendiri, materi ini menjelaskan banyak masalah tersembunyi yang tidak terlihat hanya dari angka loss.

Karpathy mulai dari loss awal sebesar 27, padahal tebakan acak yang seragam atas 27 karakter seharusnya menghasilkan sekitar 3,29. Penyebabnya adalah logits yang terlalu ekstrem sehingga model yakin tetapi salah, dan ia memperbaikinya dengan membuat B2 nol serta mengecilkan W2. Masalah kedua adalah activations tanh yang jenuh di nilai minus satu dan satu sehingga gradients mati, yang ia tunjukkan lewat histogram dan peta neuron mati. Setelah keduanya diperbaiki, validation loss turun dari 2,17 ke 2,13 lalu 2,10. Ia kemudian menjelaskan Kaiming initialization dari makalah Delving Deep into Rectifiers, yaitu skala gain dibagi akar fan-in dengan gain 5/3 untuk tanh. Berikutnya ia membangun batch normalization dari makalah Google tahun 2015, lengkap dengan gain dan bias yang dilatih, running mean dengan momentum, epsilon, serta efek regularisasi akibat contoh dalam satu batch saling terikat. Ia membandingkannya dengan blok ResNet di PyTorch, lalu menyusun ulang kodenya menjadi modul Linear, BatchNorm1d, dan Tanh untuk jaringan enam lapis. Terakhir ia memperlihatkan plot diagnostik, termasuk rasio update terhadap data yang idealnya sekitar 10 pangkat minus 3, dan menyimpulkan bahwa kinerja model kini lebih dibatasi oleh konteks yang hanya tiga karakter.

Kata kunci

standard deviation
initialization
gain
running mean

Istilah

Arti

standard deviation

Ukuran seberapa lebar sebaran angka di sekitar rata-ratanya, dipakai di video ini untuk menjaga agar activations tidak membesar atau mengecil dari lapisan ke lapisan.

initialization

Cara memberi nilai awal pada bobot dan bias sebelum pelatihan dimulai, yang di video ini terbukti sangat memengaruhi loss awal dan kecepatan belajar jaringan.

gain

Faktor pengali tambahan pada skala bobot awal untuk mengimbangi efek penyempitan fungsi aktivasi, misalnya 5/3 untuk tanh dan akar dua untuk ReLU.

running mean

Rata-rata yang diperbarui sedikit demi sedikit selama pelatihan di dalam batch normalization, agar saat inference model bisa memproses satu contoh tanpa membutuhkan satu batch.

activations

Nilai keluaran setiap neuron saat data mengalir maju melalui jaringan, yang di video ini diperiksa sebarannya agar tidak terlalu jenuh di ujung fungsi tanh.

gradients

Angka yang menunjukkan arah dan besar perubahan bobot untuk menurunkan loss, dihitung lewat backpropagation dan bisa hilang bila neuron berada di daerah datar fungsi aktivasi.

normalization layer

Lapisan yang menstandarkan activations agar rata-ratanya nol dan sebarannya satu, misalnya batch normalization, layer normalization, dan group normalization, sehingga jaringan dalam lebih stabil dilatih.

neural net

Model yang tersusun dari lapisan-lapisan neuron berbobot, di video ini berupa MLP untuk menebak karakter berikutnya dari tiga karakter sebelumnya.

bias

Angka tambahan yang digeser ke hasil perkalian bobot dalam sebuah lapisan, yang menjadi sia-sia bila lapisan itu langsung diikuti batch normalization karena rata-ratanya dikurangkan.

loss

Angka yang mengukur seberapa salah tebakan model, di video ini dihitung sebagai negative log likelihood dengan nilai awal ideal sekitar 3,29 untuk 27 karakter.

histogram

Grafik batang yang menunjukkan berapa banyak nilai jatuh di setiap rentang, dipakai Karpathy untuk melihat sebaran activations, gradients, dan bobot di tiap lapisan.

layers

Tahap-tahap pengolahan yang disusun berurutan dalam jaringan, seperti lapisan linear, batch normalization, dan tanh yang di video ini ditumpuk seperti balok Lego.