| Istilah | Arti |
|---|---|
| LLM | Singkatan dari large language model, yaitu model AI yang dilatih dengan teks sangat banyak untuk memahami dan menghasilkan teks mirip tulisan manusia. |
| next word prediction | Tugas inti LLM untuk menebak kata berikutnya yang paling mungkin dari konteks, yang menurut video ini menjadi sumber semua kemampuan model. |
| fine tuning | Pelatihan lanjutan pada base model memakai data yang lebih kecil tetapi rapi, misalnya contoh percakapan, agar model bisa mengikuti instruksi seperti chatbot. |
| transformer architecture | Rancangan neural network dari makalah Attention Is All You Need yang terdiri dari encoder dan decoder serta menjadi fondasi hampir semua LLM modern. |
| decoder | Bagian Transformer yang menghasilkan teks token demi token, dan model seperti GPT hanya memakai bagian ini tanpa encoder. |
| token | Potongan kecil teks, bisa berupa kata atau bagian kata, yang menjadi satuan input dan output bagi model bahasa. |
| data set | Kumpulan data untuk melatih model, yang di video ini berupa triliunan kata dari buku, artikel, internet, dan kode, atau contoh percakapan untuk fine-tuning. |
| probability | Ukuran peluang tiap kata menjadi kata berikutnya, dan model menghitung distribusi peluang ini lalu mengambil sampel darinya untuk memilih kata. |
| large language model | Jenis model machine learning untuk tugas bahasa alami seperti menulis dan menjawab pertanyaan, contohnya ChatGPT, Gemini, Claude, dan DeepSeek. |
| prompt | Teks atau pertanyaan yang diberikan pengguna kepada model, yang di balik layar dibungkus dalam prompt template sebelum diproses. |
| training | Proses mengajari model dari data, yang di video ini terdiri dari pre-training, fine-tuning, dan kadang preference alignment dengan reward model. |
| context | Rangkaian kata atau token sebelumnya yang dipakai model sebagai dasar untuk menebak token berikutnya, lalu terus bertambah setiap kali token baru dihasilkan. |
Video pembuka seri dari kanal Under The Hood ini menjelaskan secara visual apa itu large language model (LLM) dan bagaimana model seperti ChatGPT, Gemini, Claude, dan DeepSeek sebenarnya bekerja. Pembicara mulai dari gambaran besar: AI adalah payung luas, machine learning adalah salah satu cabangnya, dan deep learning dengan neural network menjadi dasar LLM. Kunci utamanya adalah arsitektur Transformer dari makalah "Attention Is All You Need", yang aslinya punya encoder dan decoder untuk menerjemahkan bahasa, tetapi model seperti GPT hanya memakai bagian decoder. Pertanyaan yang ingin dijawab video ini adalah bagaimana satu model bisa menulis kode, puisi, lelucon, dan ringkasan sekaligus. Jawabannya ternyata sederhana: semua kemampuan itu lahir dari satu tugas, yaitu menebak kata berikutnya. Pemahaman ini penting bagi penonton karena menjelaskan kenapa jawaban chatbot muncul kata demi kata dan kenapa kualitasnya sangat bergantung pada data dan pelatihan.
Video memberi contoh "the cat sat on" untuk menunjukkan model autoregressive yang menghitung probabilitas kata berikutnya dari semua kata sebelumnya, lalu mengambil sampel dari distribusi itu, misalnya menghasilkan "Paris" setelah "the capital of France is". Tahap pertama adalah pre-training pada data set berukuran terabyte berisi triliunan kata dari buku, artikel, internet, dan kode, yang menghasilkan foundation model atau base model. Model ini masih sekadar melengkapi teks, sehingga pertanyaan malah dijawab dengan tanda tanya. Tahap kedua adalah supervised fine-tuning memakai jutaan contoh percakapan buatan anotator manusia dengan token khusus seperti system, user, assistant, dan EOS dalam sebuah prompt template. Token EOS mengajari model kapan berhenti, selain batas token maksimum. Fine-tuning juga bisa diarahkan untuk gaya tertentu, misalnya gaya Jack Sparrow, atau kemampuan bernalar. Sebagian model lalu menjalani preference alignment dengan reward model. Video ditutup dengan peta materi berikutnya: tokenisasi, embedding, attention, feed forward, dan output layer.
Kata kunci
- LLM
- next word prediction
- fine tuning
- decoder
- Memperkenalkan large language model (LLM) sebagai bagian pertama sebuah seri: bentuk AI untuk memahami dan menghasilkan teks mirip manusia, dengan contoh ChatGPT, Gemini, Claude, dan DeepSeek.
- Menjelaskan inti next word prediction: model memprediksi kata berikutnya (misalnya ibu kota Prancis adalah Paris), dilatih pada data sangat besar, lalu fine tuning sebelum dipakai di aplikasi.
- Memahami arsitektur transformer decoder dan proses generasi dalam loop sampai token akhir kalimat atau batas token tercapai.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.