| Istilah | Arti |
|---|---|
| data augmentation | Teknik memperbanyak data latih dengan mengubah contoh yang ada, misalnya membalik, memotong, atau mengubah sedikit pencahayaan gambar tanpa mengubah labelnya, yang menurut Isola sederhana dan cocok untuk arsitektur apa pun. |
| batch norm | Lapisan normalisasi yang menyesuaikan aktivasi berdasarkan statistik satu kumpulan data, yang disarankan Isola untuk dihindari karena membuat hasil sangat bergantung pada ukuran kumpulan dan berbeda antara pelatihan dan pengujian. |
| RMS norm | Cara menormalkan vektor aktivasi dengan membaginya menggunakan akar rata-rata kuadrat nilainya sehingga data terpetakan ke permukaan bola satuan, dipakai di video untuk menunjukkan perilaku aneh di dimensi rendah. |
| geometric deep learning | Pendekatan merancang arsitektur jaringan saraf yang secara bawaan tidak terpengaruh oleh transformasi tertentu seperti pergeseran atau pencerminan, yang dibandingkan Isola dengan data augmentation yang menurutnya lebih praktis. |
| evaluation framework | Kerangka cara mengukur dan menilai apakah sebuah sistem benar-benar bekerja dengan baik, disebut Isola sebagai salah satu bagian pipeline deep learning yang perlu dirancang dengan cermat. |
| batch size | Jumlah contoh data yang diproses bersama dalam satu langkah pelatihan, salah satu hyperparameter utama yang menurut Isola perlu disetel bersama learning rate. |
| colorization | Tugas menebak warna setiap piksel dari foto hitam putih, yang dalam proyek Isola diubah menjadi masalah klasifikasi warna per piksel agar bisa diselesaikan dengan alat yang sudah terbukti. |
| distribution | Sebaran nilai atau kemungkinan dari data atau keluaran model, yang perlu diperiksa sejak awal agar ketahuan misalnya bila data tidak seimbang atau rentang nilainya keliru. |
| loss | Angka yang mengukur seberapa jauh prediksi model dari jawaban benar dan diperkecil selama pelatihan, yang menurut Isola tidak cukup dilihat sendirian tanpa memeriksa data dan keluarannya. |
| tensor | Larik angka berdimensi banyak yang menjadi wadah data dan bobot dalam deep learning, yang tipe, bentuk, dan rentang nilainya perlu selalu dicek untuk mencegah bug. |
| reshape | Operasi mengubah susunan dimensi sebuah tensor tanpa mengubah isinya, yang sering memicu bug sehingga Isola menyarankan pustaka einops agar urutannya lebih mudah dipahami. |
| classification | Tugas memilih satu kelas dari sejumlah pilihan tetap, yang dianjurkan Isola sebagai bentuk default masalah karena caranya sudah matang dan mampu menggambarkan ketidakpastian dengan lengkap. |
Dalam kuliah kesembilan dari MIT OpenCourseWare ini, Phillip Isola membawakan panduan praktis deep learning yang ia sebut panduan seorang hacker, yaitu kumpulan kiat, heuristik, dan pengalaman pribadi yang sengaja bersifat opini, bukan teori formal. Materinya disusun dari ceramah Evan Shelhamer, pengembang Caffe, tulisan blog Andrej Karpathy, dan masukan anggota labnya. Titik tolaknya adalah bahwa banyak kemajuan deep learning datang dari praktisi yang rajin mencoba, sebab teori klasik seperti VC dimension tidak mampu menjelaskan mengapa jaringan saraf tetap bisa melakukan generalisasi. Pesan pertamanya diwariskan dari Jitendra Malik kepada Alyosha Efros, yakni berteman dengan setiap piksel, artinya jangan hanya melihat angka akurasi atau kurva loss tetapi periksa sendiri data masukan dan keluaran model. Isola menegaskan bahwa data adalah hal terpenting dalam machine learning, sehingga lebih dari separuh kuliah membahas data, lalu sisanya membahas model, optimisasi, dan kebiasaan kerja. Kuliah ini berguna bagi siapa pun yang membangun sistem nyata, karena banyak kegagalan berasal dari bug sederhana dan pilihan yang terlalu rumit, bukan dari algoritme yang kurang canggih.
Contoh pertamanya adalah model pendeteksi kanker dari pindaian dada yang mencapai akurasi 99 persen, padahal model itu hanya membaca huruf R di pojok gambar yang menandai rumah sakit asal. Isola menyarankan fungsi kecil untuk memeriksa tipe, bentuk, kebutuhan gradien, nilai minimum, maksimum, rata-rata, dan varians data tepat sebelum data masuk ke model, karena bug umum muncul dari data uint8 berkisar 0 sampai 255, urutan warna BGR di Caffe, atau batch norm dengan batch size 1 seperti yang pernah terjadi di proyek Pix2Pix. Ia juga menganjurkan dimensi yang besar, dimensi berbeda untuk tiap sumbu saat menguji reshape, dan pustaka einops. Data augmentation dan domain randomization dinilainya lebih praktis daripada geometric deep learning, dan robot tangan OpenAI butuh pelatihan sekitar sepuluh kali lebih lama tetapi menjadi lebih tangguh. Untuk model, ia menyarankan memilih yang sederhana dan populer, misalnya yang punya sekitar 10.000 bintang GitHub, memakai model pre-trained, mengubah colorization menjadi classification, memakai one-hot, cross-entropy, Adam, dan transformer, menghindari batch norm, memperbesar skala, lalu membuang komponen yang tidak perlu.
Kata kunci
- data augmentation
- batch norm
- RMS norm
- geometric deep learning
- Mengikuti kuliah praktis berisi heuristik dan saran beropini tentang membuat sistem deep learning yang bekerja: data, model, optimizer, dan evaluasi.
- Membahas data (rentang numerik, normalisasi, data augmentation versus geometric deep learning), batch norm, RMS norm, dan batch size.
- Memberi contoh merumuskan masalah seperti prediksi efektivitas obat dan colorization, serta kiat mempercepat optimisasi tanpa terlalu bergantung pada satu trik.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.