| Istilah | Arti |
|---|---|
| large language models | Jaringan saraf raksasa yang dilatih pada teks dalam jumlah sangat besar untuk menebak kata berikutnya, dan di video ini digambarkan hanya sebagai dua berkas: parameter dan kode penjalan. |
| Llama 2 | Seri model bahasa dari Meta yang bobot, arsitektur, dan makalahnya dirilis terbuka, dipakai Karpathy sebagai contoh konkret lewat versi 70 miliar parameternya. |
| parameters | Angka-angka bobot di dalam jaringan saraf yang menyimpan hasil belajar model, misalnya 70 miliar angka berukuran total 140 GB pada Llama 2 70B. |
| neural network | Model komputasi berisi banyak neuron buatan yang saling terhubung dan dapat diatur bobotnya, yang di sini menerima rangkaian kata lalu menebak kata selanjutnya. |
| word prediction | Tugas inti LLM untuk menebak kata berikutnya dalam sebuah urutan, yang menurut Karpathy memaksa model menyerap banyak pengetahuan tentang dunia. |
| assistant model | Model yang sudah dilatih lanjutan sehingga menjawab pertanyaan layaknya asisten yang membantu, bukan sekadar meniru dokumen internet seperti model dasar. |
| fine tuning | Tahap pelatihan lanjutan yang memakai data tanya jawab berkualitas tinggi buatan manusia untuk mengubah model dasar menjadi asisten, jauh lebih murah daripada pra-pelatihan. |
| context window | Batas jumlah kata yang bisa dilihat model sekaligus saat menebak kata berikutnya, yang di video ini diibaratkan sebagai RAM atau memori kerja LLM. |
| user space | Istilah sistem operasi untuk area tempat program biasa berjalan, yang disebut Karpathy sebagai salah satu padanan dalam analogi LLM sebagai sistem operasi. |
| kernel space | Istilah sistem operasi untuk area inti yang mengatur sumber daya komputer, disebut di video sebagai padanan lain ketika LLM diibaratkan kernel sistem operasi baru. |
| attacks | Upaya jahat untuk membuat LLM berperilaku menyimpang, seperti jailbreak, prompt injection, dan data poisoning yang dicontohkan di akhir video. |
| internet | Sumber utama teks pelatihan LLM, sekitar 10 TB untuk Llama 2, sekaligus tempat model menjelajah informasi dan celah masuk serangan seperti prompt injection. |
Dalam video ini Andrej Karpathy merekam ulang ceramah pengantar 30 menit tentang large language model (LLM) untuk orang sibuk. Ia memulai dengan gagasan sederhana bahwa sebuah LLM pada dasarnya hanyalah dua berkas, yaitu berkas parameter dan kode yang menjalankannya. Dari sana ia menjelaskan bagaimana model dilatih, mengapa tugas menebak kata berikutnya memaksa model mempelajari banyak pengetahuan tentang dunia, dan bagaimana model dasar diubah menjadi asisten yang membantu. Bagian berikutnya membahas arah perkembangan LLM: hukum skala, penggunaan alat, multimodalitas, pemikiran sistem dua, perbaikan diri, dan kustomisasi. Ia lalu mengusulkan cara pandang baru bahwa LLM lebih tepat dianggap sebagai kernel dari sistem operasi yang sedang muncul. Video ditutup dengan tantangan keamanan khas LLM. Materi ini penting karena memberi peta lengkap tentang cara kerja, kemampuan, dan risiko teknologi yang kini dipakai banyak orang setiap hari.
Contoh utamanya adalah Llama 2 70B dari Meta, dengan berkas parameter 140 GB dan kode jalannya cukup sekitar 500 baris C di MacBook. Pelatihannya memakai sekitar 10 TB teks internet, 6.000 GPU selama 12 hari, dan biaya sekitar 2 juta dolar, mirip kompresi lossy atas internet. Tahap kedua, fine tuning, memakai sekitar 100.000 percakapan berkualitas tinggi buatan pelabel manusia, lalu tahap ketiga opsional memakai label perbandingan dalam RLHF. Karpathy menunjukkan leaderboard Chatbot Arena berbasis skor ELO, lalu demo ChatGPT yang memakai browser, kalkulator, Python, dan DALL-E untuk menganalisis putaran pendanaan Scale AI. Ia membandingkan context window dengan RAM, serta menyebut padanan user space dan kernel space. Terakhir ia memaparkan serangan jailbreak lewat permainan peran nenek, teks Base64, sufiks hasil optimasi, dan gambar panda bernoise, serangan prompt injection lewat gambar, Bing, dan Google Doc, serta data poisoning dengan frasa pemicu James Bond.
Kata kunci
- Llama 2
- word prediction
- assistant model
- context window
- Mengikuti pengantar singkat untuk orang sibuk tentang large language model: LLM pada dasarnya dua file, dengan contoh Llama 2 70B dari Meta.
- Menjelaskan pelatihan lewat prediksi kata berikutnya dan parameter jaringan saraf, tahap fine tuning untuk menjadikannya assistant model, serta penggunaan alat.
- Membahas analogi LLM sebagai sistem operasi baru (context window, user space, dan kernel space) dan tantangan keamanan berupa berbagai jenis serangan.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.