| Istilah | Arti |
|---|---|
| cross entropy | Cross entropy adalah rata-rata jumlah bit yang dibutuhkan saat kode yang dioptimalkan untuk satu distribusi dipakai pada distribusi lain. |
| entropy | Entropy adalah jumlah bit rata-rata paling sedikit yang diperlukan untuk mengkodekan simbol dari sebuah distribusi. |
| KL divergence | KL divergence adalah selisih antara cross entropy dan entropy, yang menunjukkan berapa bit terbuang karena kode tidak optimal. |
| compression | Kompresi adalah proses memperkecil ukuran data dengan memanfaatkan pola, sehingga data bisa disimpan dengan bit lebih sedikit. |
| bits | Bit adalah satuan informasi terkecil, berupa nilai 0 atau 1, yang dipakai untuk menyandikan pesan. |
| negative log | Negative log adalah nilai minus logaritma dari peluang, yang menunjukkan seberapa mengejutkan sebuah kejadian bagi model. |
| loss function | Loss function adalah fungsi yang mengukur seberapa buruk prediksi model, dan yang diminimalkan selama pelatihan. |
| distribution | Distribusi adalah daftar peluang untuk setiap kemungkinan simbol atau kejadian yang bisa muncul. |
| token | Token adalah potongan teks, biasanya kata atau bagian kata, yang diproses sebagai satu satuan oleh model bahasa. |
| Language Trees and Zipping | Language Trees and Zipping adalah makalah tahun 2002 yang memakai kompresi gzip untuk menemukan kekerabatan antarbahasa. |
| distill | Distill adalah melatih model kecil agar meniru distribusi prediksi model besar yang lebih pintar. |
| weighted sum | Weighted sum adalah jumlah nilai yang masing-masing dikalikan bobotnya, seperti peluang, untuk menghitung rata-rata. |
Video 3Blue1Brown ini membahas cross entropy, konsep yang berasal dari kompresi data dan juga menjadi inti pelatihan model bahasa. Pembahasan dimulai dari contoh robot yang menerima empat instruksi gerak dengan peluang berbeda. Setiap simbol idealnya memakai bit sebanyak negative log dua dari peluangnya, sehingga rata-rata panjang pesan dihitung sebagai weighted sum. Jika kode yang dioptimalkan untuk distribusi lama dipakai pada distribusi baru, jumlah bit rata-rata naik, dan kenaikan itulah cross entropy. Cross entropy mencapai nilai minimum saat dua distribusi sama, dan nilai minimum itu adalah entropy. Pembicara juga mengaitkannya dengan makalah tahun 2002 bernama Language Trees and Zipping, yang memakai gzip untuk mengukur kemiripan antarbahasa tanpa pengetahuan linguistik sebelumnya.
Pada bagian kedua, model bahasa dilatih dengan memprediksi token berikutnya. Token adalah potongan teks, biasanya kata atau bagian kata. Fungsi loss yang dipakai adalah rata-rata negative log dari peluang yang diberikan model kepada token yang benar, dan inilah yang disebut cross entropy loss. Pembicara menjelaskan bahwa logaritma adalah pilihan yang hampir terpaksa jika kita ingin loss minimum hanya saat distribusi model sama dengan statistik data. Distillation memakai ide yang sama, tetapi model kecil membandingkan dirinya dengan distribusi lengkap model besar, sehingga setiap contoh memberi sinyal yang lebih kaya. Selisih cross entropy dengan entropy disebut KL divergence, yaitu jumlah bit yang terbuang karena kode yang tidak optimal. Video ditutup dengan pertanyaan apakah KL divergence lebih cocok daripada cross entropy untuk distillation.
Kata kunci
- cross entropy
- KL divergence
- negative log
- loss function
- Membuka dengan makalah tahun 2002 Language Trees and Zipping yang mengelompokkan bahasa hanya dengan kompresi file umum.
- Menjelaskan cross entropy sebagai rata-rata negative log probabilitas dan kaitannya dengan entropy, bits, kode optimal, dan KL divergence.
- Menunjukkan mengapa cross entropy menjadi loss function pelatihan model bahasa, serta pertanyaan penutup tentang distilasi model besar ke kecil.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.