| Istilah | Arti |
|---|---|
| large language models | Model bahasa berukuran sangat besar yang dilatih menebak kata berikutnya dari teks dalam jumlah raksasa, menjadi pokok bahasan utama kuliah ini. |
| instruction tuning | Tahap fine-tuning dengan kumpulan instruksi beserta jawabannya agar model terbiasa menuruti perintah, bukan sekadar melanjutkan teks. |
| word prediction | Tugas menebak kata berikutnya berdasarkan kata-kata sebelumnya, yang menurut video ini menjadi dasar seluruh model bahasa dari era hitungan kata sampai transformer. |
| pre-training | Tahap awal melatih model pada teks dalam jumlah sangat besar sebelum diarahkan ke tugas tertentu, sumber sebagian besar pengetahuan dan kemampuan model. |
| reasoning | Kemampuan menyelesaikan soal yang butuh beberapa langkah berpikir, misalnya soal cerita aritmetika, yang dibahas video ini sebagai tantangan bagi model bahasa. |
| chain of thought | Teknik prompt yang membuat model menuliskan langkah penalaran sebelum jawaban akhir, sehingga akurasinya pada soal bertahap meningkat tajam. |
| reinforcement learning | Metode pelatihan yang memperbaiki model berdasarkan skor atau umpan balik, dipakai di sini bersama reward model dari penilaian manusia untuk menyempurnakan jawaban. |
| machine translation | Penerjemahan otomatis antarbahasa oleh komputer, contoh tugas yang sering dipakai video ini untuk menunjukkan perkembangan model bahasa. |
| summaries | Ringkasan teks yang dibuat model, dipakai sebagai contoh tugas ketika video menjelaskan cara melatih model dengan penilaian manusia dan reward model. |
| instruction following | Kemampuan model memahami perintah dalam bahasa sehari-hari lalu langsung mengerjakannya, yang menurut video ini butuh fine-tuning khusus agar andal. |
| probability | Ukuran seberapa mungkin suatu kata muncul berikutnya, yang dihitung model bahasa untuk setiap kemungkinan kata ketika menghasilkan teks. |
| labels | Jawaban atau kategori yang ditempelkan pada contoh data, misalnya positif atau negatif pada ulasan film dalam contoh few-shot prompting di video ini. |
Kuliah tamu MIT ini dibuka oleh Phillip Isola dan dibawakan oleh Jacob Andreas, profesor EECS yang meneliti cara kerja large language models. Pertanyaan utamanya sederhana: jika kita sudah punya sistem yang sangat pandai menebak kata berikutnya, apa saja yang bisa dilakukan dengannya, dan bagaimana cara mengarahkannya? Andreas menelusuri sejarah bidang ini, mulai dari model berbasis hitungan kata yang berakar pada upaya memecahkan sandi Enigma, model bahasa sebagai alat pemeringkat hasil terjemahan mesin dan pengenalan suara, sampai era transformer dan pre-training. Ia menekankan bahwa skala data dan jumlah parameter saja tidak cukup, sebab model n-gram awal 2000-an sudah memakai dua triliun token dan 300 miliar parameter tetapi kalah jauh dari model neural masa kini. Materi ini penting karena menjelaskan mengapa satu model umum kini bisa menggantikan banyak model khusus, dan mengapa cara kita menyusun masukan menjadi alat kendali utama.
Andreas membahas masked language modeling pada BERT dan ELMo, lalu GPT-3 yang mampu berhitung, menjawab soal berbahasa Farsi, dan tugas lain tanpa fine-tuning. Ia menjelaskan in-context learning atau few-shot prompting lewat contoh ulasan film berlabel positif dan negatif, termasuk temuan bahwa label yang diacak dulu hampir tidak memengaruhi hasil, sedangkan model yang lebih besar kini mulai memperhatikan label. Chain of thought ditunjukkan lewat soal bola tenis Roger, dan kalimat "Let's think step by step" menaikkan akurasi soal aritmetika dari 18% menjadi 80%. Berikutnya ada instruction tuning, yaitu fine-tuning dengan data instruksi agar model menjawab pertanyaan alih-alih melanjutkan teks, serta context distillation. Masalah yang tersisa mencakup model yang tidak bisa berkata "I don't know", permintaan menyontek ujian, dan model besar yang menjawab cermin pecah dengan tujuh tahun sial. Solusinya adalah reinforcement learning from human feedback dengan reward model, policy gradient, atau alternatif seperti DPO. Kesimpulannya, pre-training besar ditambah sedikit penyempurnaan menghasilkan model serbaguna.
Kata kunci
- large language models
- instruction tuning
- chain of thought
- reinforcement learning
- Mengikuti kuliah tamu Jacob Andreas tentang dasar-dasar large language model dan kaitannya dengan deep learning.
- Memahami prediksi kata berikutnya, pre-training, contoh di dalam prompt, dan instruction tuning yang membantu model mengikuti instruksi.
- Menyinggung reasoning lewat chain of thought dan reinforcement learning sebagai tantangan riset setelah era LM.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.