| Istilah | Arti |
|---|---|
| transformer | Arsitektur jaringan saraf dari makalah Attention Is All You Need tahun 2017 yang menjadi fondasi banyak model AI modern dan dibedah lengkap di video ini. |
| token | Potongan kecil teks seperti kata atau sub-kata yang diberi nomor unik agar kalimat bisa diolah model sebagai angka. |
| encoder | Bagian transformer yang membaca kalimat bahasa sumber dan mengubahnya menjadi representasi konteks untuk dipakai decoder. |
| decoder | Bagian transformer yang menerima kalimat bahasa sasaran serta konteks dari encoder lalu menebak token berikutnya satu per satu. |
| embedding | Vektor angka berdimensi tinggi, berukuran 512 dalam makalah aslinya, yang menangkap makna sebuah token sehingga kata bermakna mirip letaknya berdekatan. |
| multi head attention | Beberapa perhitungan attention berdimensi lebih kecil yang berjalan bersamaan lalu hasilnya digabung, misalnya delapan head berdimensi 64 menjadi 512. |
| query key | Pasangan vektor dalam attention tempat query setiap token bertanya ke key token lain untuk menghitung seberapa penting token tersebut dalam konteks. |
| source language | Bahasa asal kalimat yang ingin diterjemahkan, yang dalam contoh video menjadi masukan bagi encoder. |
| target language | Bahasa tujuan terjemahan yang menjadi masukan decoder saat pelatihan sekaligus label yang digeser satu token ke depan. |
| normalization | Langkah menstabilkan nilai vektor, di video ini berupa layer normalization yang menghitung rata-rata dan varians pada fitur setiap token. |
| position encodings | Vektor tambahan berbasis fungsi sinus dan kosinus yang dijumlahkan ke embedding agar model mengetahui urutan setiap kata dalam kalimat. |
| feed forward networks | Jaringan saraf padat dengan fungsi nonlinier yang memproses setiap token setelah lapisan attention dengan ukuran keluaran sama seperti masukannya. |
Video dari kanal Under The Hood ini menjelaskan arsitektur transformer, yang diperkenalkan lewat makalah Attention Is All You Need pada 2017 dan kini menjadi fondasi banyak model AI modern. Pembicara membedah komponennya satu per satu, mulai dari token embedding, mekanisme attention, feed forward network, hingga residual connection, lalu menjelaskan cara model dilatih dan cara kerjanya saat inferensi. Sebagai contoh, video memakai tugas menerjemahkan kalimat dari satu bahasa ke bahasa lain. Transformer terdiri dari dua bagian utama, yaitu encoder dan decoder, dengan desain sequence-to-sequence seperti model LSTM sebelumnya, tetapi lebih unggul karena bisa memproses secara paralel, lebih baik menangani hubungan antarkata yang berjauhan, serta lebih cepat dan akurat. Pemahaman ini penting karena model pembuat teks seperti GPT dibangun dari bagian decoder arsitektur yang sama.
Prosesnya dimulai dari dataset pasangan bahasa yang diberi token awal dan akhir kalimat. Teks dipecah menjadi token, diubah menjadi vektor embedding berukuran 512, lalu ditambah positional encoding berbasis fungsi sinus dan kosinus agar urutan kata diketahui. Self-attention memakai matriks query, key, dan value; skor attention diskalakan dengan akar dimensi key lalu dilewatkan softmax, sehingga kata bank dalam kalimat tentang uang dipahami sebagai lembaga keuangan, bukan tepi sungai. Multi-head attention memakai misalnya delapan head berdimensi 64 yang hasilnya digabung. Setelahnya ada add and layer normalization serta feed forward network. Decoder memakai masked attention dengan nilai minus tak hingga agar token tidak melihat token masa depan, lalu cross attention yang mengambil key dan value dari encoder. Saat inferensi, model menghasilkan satu token setiap langkah sampai muncul token akhir kalimat, sifat yang disebut autoregresif.
Kata kunci
- encoder
- decoder
- multi head attention
- target language
- Menjelaskan arsitektur Transformer dari makalah Attention Is All You Need (2017) beserta komponennya: token embedding, position encodings, attention, feed forward network, residual connections, dan normalization.
- Menelusuri contoh penerjemahan kalimat antara source language dan target language dengan encoder dan decoder, query key value, multi head attention, dan masking dengan negative infinity pada softmax.
- Membahas pelatihan dan inferensi yang bersifat autoregresif, serta bahwa model seperti GPT memakai arsitektur decoder-only.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.