Training
Bagian 2 · Fondasi machine learning
| Istilah | Arti |
|---|---|
| cost function | Fungsi yang menerima semua weights dan biases lalu mengeluarkan satu angka yang menunjukkan seberapa buruk kinerja jaringan pada seluruh training data. |
| gradient descent | Cara belajar jaringan dengan berulang kali menggeser weights dan biases sedikit ke arah negative gradient agar nilai cost function terus turun menuju sebuah lembah. |
| weights | Angka yang menentukan kekuatan hubungan antara satu neuron dan neuron di lapisan sebelumnya, dan diatur selama training agar jaringan makin akurat. |
| biases | Angka tambahan pada tiap neuron yang menandakan apakah neuron itu cenderung aktif atau tidak, ikut diatur bersama weights saat training. |
| gradient | Vektor yang menunjukkan arah perubahan masukan yang paling cepat menaikkan nilai fungsi, sekaligus seberapa curam kenaikan itu. |
| negative gradient | Kebalikan arah gradient, yaitu arah langkah yang paling cepat menurunkan cost function dan menunjukkan perubahan weights mana yang paling berpengaruh. |
| local minimum | Titik lembah pada grafik fungsi tempat nilai lebih rendah dari sekitarnya, meski belum tentu nilai terendah dari seluruh fungsi. |
| training data | Kumpulan contoh gambar angka tulisan tangan beserta labelnya, seperti dari database MNIST, yang dipakai jaringan untuk menyesuaikan weights dan biases. |
| hidden layers | Lapisan neuron di antara lapisan masukan dan keluaran, di video ini dua lapis berisi 16 neuron yang ternyata tidak mendeteksi tepi seperti harapan awal. |
| handwritten digit | Gambar angka nol sampai sembilan yang ditulis tangan, contoh klasik pengenalan pola yang disebut hello world dalam dunia neural network. |
| neurons | Unit kecil dalam jaringan yang masing-masing menyimpan angka aktivasi, misalnya 784 neuron masukan untuk piksel dan 10 neuron keluaran untuk angka. |
| slope | Kemiringan grafik fungsi di suatu titik yang memberi tahu harus melangkah ke kiri atau ke kanan agar nilai fungsi menjadi lebih kecil. |
| calculus | Cabang matematika tentang perubahan dan kemiringan fungsi, yang menurut video ini membuat proses belajar mesin terasa seperti latihan mencari minimum fungsi. |
| memorize | Menghafal data tanpa memahami polanya, seperti jaringan dalam riset yang tetap mencapai akurasi training tinggi meski labelnya diacak. |
| labeled | Sifat data yang tiap contohnya sudah diberi jawaban benar, misalnya gambar angka yang ditandai angka seharusnya, untuk melatih dan menguji jaringan. |
Video ini melanjutkan pembahasan struktur neural network dengan dua tujuan: memperkenalkan gradient descent, gagasan yang mendasari cara neural network dan banyak metode machine learning lain belajar, lalu melihat seberapa baik jaringan pengenal angka tulisan tangan bekerja dan apa yang sebenarnya dicari oleh hidden layers. Jaringan contohnya menerima gambar 28x28 piksel sebagai 784 neuron masukan, memiliki dua hidden layer berisi 16 neuron, dan sekitar 13.000 weights dan biases yang bisa diatur. Pesan utamanya, ketika orang berkata jaringan sedang belajar, yang terjadi sebenarnya hanyalah meminimalkan sebuah cost function, sehingga proses belajar mesin terasa lebih mirip latihan kalkulus daripada kisah fiksi ilmiah. Pemahaman ini penting karena menjadi dasar sebelum mempelajari backpropagation dan varian jaringan modern.
Pembicara menjelaskan bahwa weights dan biases mula-mula diisi acak, lalu cost satu contoh dihitung dari jumlah kuadrat selisih antara keluaran dan nilai yang diharapkan, dan rata-ratanya atas puluhan ribu training data berlabel dari database MNIST menjadi ukuran buruknya jaringan. Untuk mencari minimum, ia memakai analogi bola yang menggelinding menuruni bukit: lihat slope, melangkah ke arah turun, dan ulangi sampai mencapai local minimum yang belum tentu terendah. Untuk banyak masukan, negative gradient menunjukkan arah turun tercepat, dan besar tiap komponennya menandakan perubahan mana yang paling berpengaruh. Hasilnya, jaringan mengenali sekitar 96 persen gambar baru dengan benar, dan bisa mencapai 98 persen dengan sedikit penyesuaian. Namun neuron lapis kedua ternyata tidak mendeteksi tepi seperti yang diharapkan, dan jaringan dengan yakin menyebut gambar acak sebagai angka 5. Video ditutup dengan rekomendasi buku gratis Michael Nielsen serta cuplikan wawancara dengan Leisha Lee tentang riset bahwa jaringan dalam bisa memorize data berlabel acak, tetapi lebih cepat belajar pada data yang terstruktur.
Kata kunci
- cost function
- gradient descent
- local minimum
- negative gradient
- Memahami training sebagai proses mencari weights dan biases yang membuat cost function sekecil mungkin pada data latih.
- Menjelaskan gradient descent: menghitung gradient lalu melangkah ke arah negative gradient menuju minimum (sering hanya local minimum).
- Melihat contoh pengenalan angka tulisan tangan (gambar 28x28 piksel, sekitar 13.000 weights dan biases, dua hidden layers) dan akurasinya pada gambar baru.
- Menyadari bahwa hidden layers tidak selalu mempelajari pola yang diharapkan, dan jaringan besar bisa menghafal data berlabel acak.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.