| Istilah | Arti |
|---|---|
| Marin | Proyek pelatihan model bahasa yang terbuka sepenuhnya, dipimpin Percy Liang, dengan tujuan membangun model terbaik dengan sumber daya yang tersedia. |
| scaling laws | Pola matematika yang memprediksi hasil model besar dari eksperimen berskala kecil, dan di video ini dipakai untuk menentukan konfigurasi sebelum training penuh. |
| scaling recipe | Aturan yang memetakan jumlah compute dan ukuran data ke seluruh hyperparameter, sehingga konfigurasi model besar bisa diturunkan dari aturan yang sudah teruji. |
| learning rate | Seberapa besar langkah perubahan bobot model pada setiap update saat training, yang di video ini dibuat semakin kecil seiring bertambahnya jumlah token. |
| hyperparameters | Pengaturan awal seperti jumlah layer, ukuran batch, dan learning rate yang harus ditentukan sebelum model dilatih, dan di video ini dipilih lewat scaling recipe. |
| data sets | Kumpulan teks, kode, dan contoh instruksi yang dipakai untuk melatih model, di video ini diambil dari lebih dari 200 sumber lalu dibersihkan. |
| compute | Total daya komputasi yang tersedia untuk training, biasanya diukur dalam FLOP atau jumlah GPU, dan menentukan seberapa besar model bisa dilatih. |
| open development | Pendekatan membuka seluruh proses riset, termasuk eksperimen yang gagal dan keputusan debugging, bukan hanya hasil akhir yang tampil di makalah. |
| Hugging Face | Platform komunitas tempat orang berbagi model dan dataset AI secara terbuka, yang di video ini menjadi sumber lebih dari 200 dataset untuk Marin. |
| billion parameter | Satuan ukuran model yang menghitung jumlah bobot yang dipelajari, misalnya model 8 miliar parameter, dan Marin di video ini dilatih hingga ratusan miliar parameter. |
| loss | Angka yang menunjukkan seberapa keliru prediksi model saat training, makin kecil makin baik, dan lonjakannya di video ini menandakan ada masalah. |
| tokens | Potongan kecil teks, kurang lebih setara bagian dari kata, yang dihitung sebagai ukuran data, dan jumlahnya ikut menentukan learning rate di video ini. |
Video ini berisi ceramah Percy Liang di UC Berkeley tentang Marin, sebuah proyek untuk melatih model AI terdepan secara terbuka. Ia membuka dengan kritik bahwa kemajuan AI saat ini membuat peneliti akademik sulit ikut serta, industri terlalu bergantung pada beberapa lab besar, dan publik kurang mendapat transparansi soal keselamatan serta keputusan rilis model. Menurut Percy, ada tiga harapan yang ingin dicapai: pengembangan yang terbuka, algoritma yang bisa diskalakan, dan hasil yang bisa diprediksi. Proyek Marin dimulai sekitar dua tahun lalu di Stanford dan kini dikembangkan penuh waktu oleh sekitar 10 insinyur, dengan dukungan awal dari Google serta Jensen Huang Foundation.
Percy menceritakan perjalanan Marin dari model 8 miliar parameter, lalu model 32 miliar parameter yang sempat mengalami loss spike dan akhirnya diperbaiki dengan QK-norm serta pengacakan data yang lebih baik. Pendekatan berikutnya adalah scaling recipe, yaitu fungsi yang memetakan jumlah compute ke hyperparameter, lalu scaling laws dipakai untuk memprediksi loss sebelum model besar dilatih. Tim juga memakai optimizer hyperball untuk menjaga norma bobot dan menurunkan learning rate seiring bertambahnya token. Prediksi loss dicatat di GitHub sebelum run dimulai, dan hasil akhirnya meleset kurang dari 0,005 meski ekstrapolasinya sekitar 300 kali lebih besar. Untuk data, tim mengumpulkan lebih dari 200 dataset dari Hugging Face, menghapus duplikat, membuang data uji, lalu memakai metode RegMix untuk menentukan bobot campuran. Run model MoE 535 miliar parameter dengan 23 miliar parameter aktif sedang berjalan memakai sekitar 704 GPU dan ditargetkan selesai sekitar Desember.
Kata kunci
- Marin
- scaling laws
- learning rate
- open development
- Mengikuti pengalaman tim Marin melatih model terbuka 8 miliar parameter dan menyusun scaling recipe.
- Memahami scaling laws: menentukan konfigurasi seperti learning rate dan hyperparameters agar tidak terjadi blowup, serta memantau statistik seperti gradient norms.
- Melihat cara memanfaatkan data sets terbuka dari Hugging Face dalam pengembangan model secara terbuka. Rekaman awal dan akhir banyak berisi percakapan kelas.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.