| Istilah | Arti |
|---|---|
| pre-training | Tahap awal ketika model bahasa dilatih membaca teks dalam jumlah besar untuk belajar menebak token berikutnya. |
| tokens | Potongan teks, bisa berupa kata atau bagian kata, yang diubah tokenizer menjadi nomor ID agar bisa dibaca model. |
| data mixture | Campuran jenis teks yang dipakai untuk melatih model, misalnya seberapa banyak kode, matematika, dan bahasa lain. |
| mixture of experts | Arsitektur ketika tiap lapisan punya banyak jaringan kecil dan router hanya memilih sebagian untuk setiap token, seperti DeepSeek V3. |
| loss spikes | Lonjakan tiba-tiba pada nilai loss saat pelatihan besar, yang bisa merusak model dan memaksa pelatihan diulang dari checkpoint. |
| annealing | Teknik mengecilkan learning rate secara bertahap hingga nol agar perubahan model makin halus dan lossnya menetap. |
| mid-training | Tahap lanjutan setelah pre-training yang melatih model dengan data khusus seperti matematika dan kode sebelum menjadi chatbot. |
| transformer | Arsitektur jaringan saraf yang membuat setiap token bisa melihat token sebelumnya lewat mekanisme attention, dasar hampir semua LLM. |
| tokenizer | Alat yang memotong teks menjadi token dan memberi setiap token nomor ID sebelum teks diproses oleh model. |
| learning rate | Besar kecilnya langkah perubahan parameter setiap kali model diperbarui, yang dalam video ini bernilai 0,001 saat pelatihan utama. |
| base model | Model hasil pre-training dan mid-training yang baru melanjutkan teks dan belum bisa menjawab sebagai asisten tanpa post-training. |
| loss | Nilai kesalahan model yang dihitung dari rata-rata negatif log probabilitas token yang benar, dan makin kecil makin baik. |
Video ini menjelaskan cara kerja pre-training model bahasa besar dengan membangun satu model kecil dari nol di satu laptop. Pembicara, Zachary Huang, berangkat dari masalah bahwa laporan rilis model AI dari lab besar penuh istilah seperti jumlah token, data mixture, dan annealing, sehingga sulit dipahami pemula. Tujuannya membuat penonton mengerti setiap istilah itu sambil melihat langsung setiap langkah prosesnya. Model yang dilatih hanya membaca cerita anak-anak dari Tiny Stories buatan Microsoft Research, bukan triliunan kata seperti yang dipakai lab besar. Pesan utamanya: semua model dasar dilatih dengan satu tugas yang sama, yaitu menebak token berikutnya, sehingga data yang menentukan apa yang dipelajari model.
Bagian isi video membahas beberapa langkah konkret. Teks web dibersihkan dengan filter berurutan mengikuti FineWeb dari Hugging Face: filter bahasa, aturan kualitas seperti minimal 50 kata, penghapusan salinan, lalu classifier yang memberi skor edukasi 0 sampai 5 dan hanya halaman bernilai tiga atau lebih yang dipakai. Dari 10.000 halaman, hanya sekitar 26 yang lolos. Tokenizer dengan algoritma byte pair encoding lalu mengubah teks menjadi token, sehingga kalimat dinosaurus dalam video turun dari 68 karakter menjadi 18 token. Model dengan 8,8 juta parameter dan enam lapisan dilatih 6.200 langkah selama 37 menit, dan lossnya turun dari 8,3 menjadi 1,8. Saat mid-training, model yang dilatih soal penjumlahan hampir melupakan cara menulis cerita. Learning rate yang mengecil hingga nol dan campuran data tiga dari sepuluh soal penjumlahan memperbaiki masalah itu, sehingga model menjawab 300 soal dengan benar sambil tetap bisa menulis cerita.
Kata kunci
- pre-training
- data mixture
- annealing
- mid-training
- Memahami pre-training LLM dengan melatih sendiri sebuah model bahasa dari nol di satu laptop.
- Mengikuti alurnya: menyaring data halaman web, mengubah teks jadi token, memakai transformer, dan menurunkan loss dengan menebak token berikutnya.
- Mengenali istilah di laporan model besar (data mixture, mixture of experts, loss spikes, annealing, mid-training) dan melatih skill baru seperti penjumlahan.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.