Modul 27

Scaling laws dan compute

Bagian 4 · Di balik Frontier Lab

AdvanceEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
neural scaling laws	Pola empiris bahwa error model AI turun mengikuti hukum pangkat ketika compute, ukuran model, dan ukuran dataset diperbesar.
compute	Jumlah daya komputasi yang dipakai untuk melatih model, diukur di video ini dalam petaflop-day, misalnya 3.640 petaflop-day untuk GPT-3.
compute optimal	Garis batas pada grafik error terhadap compute yang tidak bisa dilewati model mana pun, menandai hasil terbaik untuk jumlah compute tertentu.
model size	Jumlah parameter yang bisa dipelajari dalam sebuah model, salah satu dari tiga faktor yang menentukan seberapa rendah error model.
cross entropy loss	Ukuran error yang dihitung dari negatif logaritma natural peluang yang diberikan model pada jawaban benar, sehingga nilainya melonjak bila model sangat yakin pada jawaban yang salah.
intrinsic dimension	Jumlah dimensi sebenarnya dari permukaan tempat data berada, yang untuk bahasa alami diperkirakan teori sekitar 42 tetapi terukur sekitar 100.
data manifold	Bentuk berdimensi lebih rendah di dalam ruang berdimensi tinggi tempat data yang bermakna berada, misalnya semua gambar digit tulisan tangan yang valid.
GPT-3	Model bahasa OpenAI berparameter 175 miliar yang performanya mengikuti garis tren scaling laws yang diprediksi sejak awal tahun 2020.
autoregressive	Cara kerja model yang memprediksi kata atau potongan kata berikutnya berdasarkan semua kata sebelumnya, seperti pada GPT-3.
logarithmic scales	Skala grafik yang setiap langkahnya mewakili kelipatan sepuluh, sehingga hubungan hukum pangkat tampak sebagai garis lurus.
error rate	Tingkat kesalahan model yang turun cepat lalu melandai seiring pelatihan, dan menjadi ukuran utama performa dalam grafik scaling.
MNIST	Dataset gambar angka tulisan tangan berukuran 28 kali 28 piksel yang dipakai di video ini untuk menjelaskan gagasan data manifold.

Video dari Welch Labs ini membahas neural scaling laws, pola yang menunjukkan bahwa error model AI turun mengikuti hukum pangkat ketika compute, ukuran model, dan ukuran dataset ditambah. Saat hasil pelatihan berbagai model digambar pada skala logaritmik, terlihat sebuah garis batas yang tidak bisa dilewati model mana pun, yaitu compute optimal frontier. Pola ini hampir tidak bergantung pada arsitektur model selama pilihannya cukup baik. Pertanyaan besar video ini adalah apakah kita sudah menemukan semacam hukum alam untuk membangun sistem cerdas, seberapa jauh performa bisa terus naik, apakah error bisa ditekan sampai nol, dan mengapa data, ukuran model, serta compute berhubungan dengan performa secara begitu sederhana. Topik ini penting karena scaling laws menjadi dasar strategi laboratorium AI besar dalam membangun GPT-3 dan GPT-4, sekaligus memberi petunjuk tentang batas pendekatan jaringan saraf yang dipakai saat ini.

Makalah OpenAI Januari 2020 menemukan tren hukum pangkat pada model hingga 1,5 miliar parameter, lalu GPT-3 dengan 175 miliar parameter dan 3.640 petaflop-day compute mengikuti prediksi itu. Video menjelaskan bahwa model autoregressive memprediksi kata berikutnya dan dinilai dengan cross entropy loss, yaitu negatif logaritma natural dari peluang jawaban benar. Loss tidak bisa mencapai nol karena bahasa alami punya entropi bawaan, dan DeepMind memperkirakan batas minimumnya sekitar 1,69. GPT-4 pun diprediksi akurat dari eksperimen kecil, dengan bocoran compute lebih dari 200.000 petaflop-day memakai 25.000 GPU A100. Penjelasan teorinya memakai data manifold. Gambar MNIST berukuran 28 kali 28 piksel adalah titik di ruang 784 dimensi, tetapi digit yang valid berada di permukaan berdimensi lebih rendah. Dari sini loss diperkirakan turun sebanding dengan ukuran data pangkat minus 4 dibagi intrinsic dimension. Teori ini cocok untuk data sintetis dan MNIST, tetapi untuk bahasa memprediksi sekitar 42 dimensi sedangkan pengukuran menunjukkan sekitar 100. Video ini juga disponsori Brilliant.

Kata kunci

scaling laws
compute
cross entropy loss
intrinsic dimension

Istilah

Arti

neural scaling laws

Pola empiris bahwa error model AI turun mengikuti hukum pangkat ketika compute, ukuran model, dan ukuran dataset diperbesar.

compute

Jumlah daya komputasi yang dipakai untuk melatih model, diukur di video ini dalam petaflop-day, misalnya 3.640 petaflop-day untuk GPT-3.

compute optimal

Garis batas pada grafik error terhadap compute yang tidak bisa dilewati model mana pun, menandai hasil terbaik untuk jumlah compute tertentu.

model size

Jumlah parameter yang bisa dipelajari dalam sebuah model, salah satu dari tiga faktor yang menentukan seberapa rendah error model.

cross entropy loss

Ukuran error yang dihitung dari negatif logaritma natural peluang yang diberikan model pada jawaban benar, sehingga nilainya melonjak bila model sangat yakin pada jawaban yang salah.

intrinsic dimension

Jumlah dimensi sebenarnya dari permukaan tempat data berada, yang untuk bahasa alami diperkirakan teori sekitar 42 tetapi terukur sekitar 100.

data manifold

Bentuk berdimensi lebih rendah di dalam ruang berdimensi tinggi tempat data yang bermakna berada, misalnya semua gambar digit tulisan tangan yang valid.

GPT-3

Model bahasa OpenAI berparameter 175 miliar yang performanya mengikuti garis tren scaling laws yang diprediksi sejak awal tahun 2020.

autoregressive

Cara kerja model yang memprediksi kata atau potongan kata berikutnya berdasarkan semua kata sebelumnya, seperti pada GPT-3.

logarithmic scales

Skala grafik yang setiap langkahnya mewakili kelipatan sepuluh, sehingga hubungan hukum pangkat tampak sebagai garis lurus.

error rate

Tingkat kesalahan model yang turun cepat lalu melandai seiring pelatihan, dan menjadi ukuran utama performa dalam grafik scaling.

MNIST

Dataset gambar angka tulisan tangan berukuran 28 kali 28 piksel yang dipakai di video ini untuk menjelaskan gagasan data manifold.