Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 1 - Transformers
| Istilah | Arti |
|---|---|
| tokens | Potongan terkecil teks seperti kata, sebagian kata, atau karakter yang dipakai model sebagai satuan dasar sebelum diubah menjadi angka. |
| embedding | Vektor angka yang mewakili sebuah token sehingga token bermakna mirip memiliki representasi berdekatan, misalnya hasil Word2vec atau tabel embedding di transformer. |
| self attention | Mekanisme yang menghitung representasi setiap token sebagai rata-rata berbobot dari semua token lain dalam urutan yang sama, menjadi inti arsitektur transformer di video ini. |
| query | Vektor milik sebuah token yang dibandingkan dengan key token lain untuk menentukan token mana yang paling relevan dalam membangun maknanya. |
| dot product | Operasi perkalian dua vektor yang menghasilkan satu angka, dipakai di video untuk mengukur seberapa mirip query sebuah token dengan key token lain. |
| vocabulary | Daftar semua token yang boleh dipakai model, dengan ukuran sekitar ratusan ribu token pada LLM masa kini menurut penjelasan di video. |
| encoder | Bagian transformer yang membaca teks sumber dan menghasilkan representasi setiap token yang sudah memperhitungkan konteks seluruh kalimat. |
| decoder | Bagian transformer yang memakai keluaran encoder dan token yang sudah dihasilkan untuk menebak token berikutnya satu per satu, misalnya saat menerjemahkan kalimat. |
| hidden state | Vektor internal pada RNN yang merangkum makna urutan yang sudah dibaca, tetapi sulit menyimpan informasi dari bagian kalimat yang jauh di belakang. |
| projections | Perkalian dengan matriks bobot yang dipelajari untuk memindahkan embedding token ke ruang query, key, dan value di dalam lapisan attention. |
| teddy bear | Boneka beruang yang menjadi contoh kalimat andalan di video ini, yaitu "A cute teddy bear is reading", untuk memperagakan tokenisasi, attention, dan penerjemahan. |
| tokenize | Proses memecah teks menjadi token, bisa berdasarkan kata, karakter, atau subword seperti metode Byte Pair Encoding yang paling populer saat ini. |
Video ini adalah kuliah pertama kelas CME295 Stanford tentang transformer dan large language model, dibawakan oleh saudara kembar Afshine dan Shervine yang kini bekerja di Netflix. Setelah menjelaskan logistik kelas, yaitu sembilan pertemuan tanpa pekerjaan rumah dengan ujian tengah semester dan ujian akhir yang masing-masing bernilai 50 persen, mereka menelusuri perjalanan bidang ini. Pada tahun 2010-an setiap tugas bahasa punya model tersendiri yang biasanya berbasis RNN, sampai makalah "Attention is All You Need" pada 2017 memperkenalkan arsitektur transformer yang terbukti sangat scalable. Arsitektur inilah yang kemudian diperbesar menjadi LLM modern, termasuk ChatGPT yang dirilis November 2022, hingga coding agent yang kini dipakai hampir setiap hari. Pertanyaan utama kuliah ini adalah bagaimana teks diubah menjadi angka yang bisa dipahami model dan bagaimana mekanisme self-attention bekerja di dalam transformer. Materi ini penting karena menjadi fondasi seluruh pertemuan berikutnya, dan para pengajar menegaskan bahwa literasi AI makin dibutuhkan apa pun peran seseorang.
Afshine mulai dari tokenisasi: memecah teks per kata itu sederhana tetapi membuat kosakata besar dan rawan kata tak dikenal, per karakter membuat urutan sangat panjang, sehingga subword seperti Byte Pair Encoding (BPE) paling populer dengan ukuran kosakata sekitar 200.000 token. Ia juga membahas token khusus seperti BOS, EOS, padding, dan unknown. Berikutnya ia membandingkan one-hot encoding dengan Word2vec dari 2013 yang belajar lewat proxy task, lalu menunjukkan kelemahannya, misalnya kata "bank" selalu bermakna sama dan urutan kata diabaikan. RNN dan LSTM mengatasi urutan kata, tetapi kesulitan mengingat konteks jauh dan lambat dilatih. Solusinya adalah attention dan self-attention dengan query, key, dan value yang dirumuskan sebagai softmax dari QK transpose dibagi akar dk lalu dikalikan V. Shervine kemudian menelusuri contoh kalimat "A cute teddy bear is reading" yang diterjemahkan ke bahasa Prancis melalui encoder enam lapis, position embedding berbasis sinus dan kosinus, masked self-attention, cross-attention, dan feedforward network. Trik pendukung seperti residual connection, layer normalization, multi-head attention, dropout, dan label smoothing ikut dijelaskan, dengan kesimpulan bahwa attention dan feedforward adalah inti transformer.
Kata kunci
- tokens
- embedding
- self attention
- query
- Mengikuti kuliah pembuka CME 295 Transformers dan Large Language Models di Stanford dari dua saudara kembar yang bekerja di industri teknologi.
- Memahami tokenisasi, representasi token dan embedding, jaringan saraf dasar, serta self-attention dengan query, key, value dan dot product.
- Melihat gambaran kelas: bagian pertama tentang pelatihan model, bagian kedua tentang agen.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.