| Istilah | Arti |
|---|---|
| scaling laws | Pola yang dapat diprediksi tentang bagaimana performa model berubah ketika sumber daya seperti data, komputasi, atau parameter diperbesar. |
| power law | Hubungan berpangkat antara dua besaran, yang di video tampak sebagai garis lurus pada grafik log-log sehingga bisa diperkirakan. |
| test loss | Nilai kesalahan model pada data uji yang tidak dipakai saat melatih, dan semakin kecil nilainya semakin baik performa model. |
| compute | Jumlah total operasi perhitungan yang dipakai untuk melatih model, yang di video diukur dalam FLOPs sebagai sumber daya utama. |
| data set | Kumpulan data latih yang dipakai untuk melatih model, dan ukurannya dihitung dari jumlah token yang diproses selama latihan. |
| model size | Ukuran model yang biasanya diukur dari jumlah parameternya, dan dibandingkan dengan jumlah data untuk mencari kombinasi terbaik. |
| FLOPs | Singkatan jumlah operasi floating point, satuan untuk mengukur komputasi yang dipakai sebagai ukuran total sumber daya latihan. |
| parameters | Bobot yang dipelajari model selama pelatihan, yang jumlahnya menentukan kapasitas model dan dilambangkan dengan huruf N di video. |
| tokens | Potongan teks hasil tokenisasi yang diprediksi satu per satu oleh model bahasa autoregresif yang dibahas di video ini. |
| cross validation | Teknik menguji model pada data yang tidak dipakai untuk melatih, dan video ini memakainya untuk memastikan prediksi berlaku pada skala lain. |
| scale | Ukuran besar dari sumber daya seperti data, komputasi, dan parameter, yang menjadi alasan utama deep learning bekerja sangat baik. |
| data points | Satu contoh data latih dalam dataset, yang dalam video ini dipakai sebagai satuan D dan bukan kedalaman atau dimensi. |
Video kuliah MIT OpenCourseWare ini dibawakan oleh Phillip Isola dan membahas scaling laws dalam deep learning, yaitu pola yang dapat diprediksi tentang bagaimana performa model berubah ketika data, komputasi, atau ukuran model diperbesar. Pembicara menjelaskan bahwa deep learning bekerja sangat baik pada skala besar, dan karena polanya cukup dapat diprediksi, hasilnya berguna untuk merencanakan sumber daya dan memperkirakan kemampuan model tahun berikutnya. Ia juga menghubungkannya dengan esai The Bitter Lesson dari Richard Sutton, yang berargumen bahwa algoritma sederhana yang mampu diskalakan biasanya akhirnya menang. Menurut pembicara, gagasan ini bukan hal baru, karena asymptotic analysis atau notasi big O dalam ilmu komputer pada dasarnya juga merupakan cara memprediksi penskalaan.
Isi konkret video ini adalah temuan paper dari Jared Kaplan, Sam McCandlish, dan rekan di OpenAI. Mereka menemukan hubungan power law antara test loss dengan jumlah parameter, jumlah data, dan compute, yang tampak sebagai garis lurus pada grafik log-log. Compute didekati sebagai jumlah parameter dikali jumlah data dikali 6, dengan 6 sebagai konstanta untuk mengubah satuan menjadi FLOPs. Untuk anggaran compute yang tetap, eksponen yang dilaporkan menunjukkan bahwa jumlah parameter sebaiknya naik sekitar C pangkat 0,7 dan jumlah data sekitar C pangkat 0,27, sehingga model besar yang dilatih dengan data relatif sedikit lebih menguntungkan. Pembicara mengingatkan bahwa angka ini bisa berubah, dan bahwa model kecil tidak mendapat manfaat dari data tambahan. Ia juga menunjukkan bahwa prediksi hasil fitting pada skala kecil ternyata benar pada model skala lebih besar, yang diuji dengan cross validation.
Kata kunci
- scaling laws
- power law
- test loss
- compute
- Mengikuti kuliah tentang scaling laws: mengapa deep learning bekerja baik saat data, parameter, dan compute besar.
- Memahami hubungan power law antara sumber daya (ukuran data set, ukuran model, FLOPs) dan test loss, serta cara menentukan ukuran model dan jumlah data untuk anggaran compute tertentu.
- Menguji bahwa kurva hasil fit memprediksi model berskala lain dengan benar, sambil mengingat bahwa ini riset empiris yang belum tentu bertahan.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.