Lec 08. Architectures: Transformers

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
transformer	Arsitektur jaringan saraf yang memproses kumpulan token dengan attention dan MLP per token, dibahas di video ini sebagai arsitektur paling unggul saat ini di hampir semua bidang.
token	Satuan informasi berupa vektor neuron, misalnya hasil proyeksi satu patch gambar, yang menjadi unit dasar yang diolah transformer di video ini.
self attention	Jenis attention ketika setiap token dalam input sendiri memancarkan query untuk token lain, sehingga token dapat memperbarui dirinya dari bagian data yang mirip atau relevan.
query	Vektor hasil proyeksi token yang menyatakan informasi apa yang sedang dicari, lalu dicocokkan dengan key token lain melalui perkalian titik untuk menentukan besar perhatian.
linear combination	Penjumlahan berbobot dari beberapa vektor atau angka, yang di transformer dipakai untuk mencampur token dengan bobot yang ditentukan oleh attention.
MLP	Jaringan saraf terhubung penuh yang setiap neuron keluarannya terhubung ke semua masukan, dipakai di transformer sebagai fungsi nonlinear yang diterapkan pada setiap token.
patches	Potongan kecil gambar yang tidak saling tumpang tindih, lalu diratakan dan diproyeksikan menjadi token agar gambar bisa diolah oleh transformer.
nonlinearity	Fungsi tidak linear seperti ReLU yang membuat jaringan mampu mempelajari pola rumit, dan di transformer berbentuk MLP yang diterapkan sama pada setiap token.
attention masking	Teknik menolkan sebagian bobot attention, misalnya causal masking agar setiap token hanya melihat token sebelumnya saat model bahasa memprediksi kata berikutnya.
learnable parameters	Angka di dalam model yang disesuaikan lewat backpropagation selama pelatihan, seperti matriks proyeksi query, key, value, dan bobot MLP di transformer.
vector	Deretan angka yang mewakili suatu informasi, misalnya isi satu patch gambar, dan menjadi bentuk dasar setiap token di transformer.
graph nets	Jaringan saraf yang mengolah data berbentuk graf dengan menggabungkan informasi antar-simpul, dan di video ini transformer disebut sebagai graph net dengan graf terhubung penuh.

Dalam kuliah MIT ini, Phillip Isola membahas transformer, arsitektur yang menurutnya paling layak dipakai saat ini walau kelak pasti tergantikan. Ia berangkat dari keterbatasan CNN: filter konvolusi bersifat lokal, sehingga jaringan yang dangkal tidak bisa menilai hubungan antara dua bagian gambar yang berjauhan, misalnya apakah burung di kanan atas sama jenisnya dengan burung di kiri bawah. MLP yang terhubung penuh memang melihat secara global, tetapi butuh terlalu banyak parameter. Transformer menjembatani keduanya lewat tiga gagasan: bekerja di atas token, attention, dan positional encoding. Isola menegaskan bahwa hanya attention yang benar-benar baru, sedangkan sisanya adalah nama baru untuk ide lama dari MLP, CNN, dan graph net. Kuliah ini penting karena menjelaskan dari dasar cara kerja arsitektur yang kini mendominasi hampir semua bidang deep learning, termasuk model bahasa seperti ChatGPT dan Claude, sekaligus menunjukkan bahwa transformer tidak terikat pada satu jenis data selama data tersebut bisa diubah menjadi kumpulan token.

Isola mendefinisikan token sebagai vektor neuron; gambar dipotong menjadi patch yang tidak saling tumpang tindih lalu diproyeksikan menjadi vektor, sedangkan teks dipecah menjadi byte pair. Jaringan token mengulang dua operasi: kombinasi linear antar-token dan nonlinearitas per token berupa MLP. Pada attention, bobot kombinasi tidak dipelajari langsung, melainkan dihitung dari data lewat query, key, dan value, yaitu hasil proyeksi dengan tiga matriks yang dapat dipelajari. Contohnya, menghitung hewan dalam foto dengan memperhatikan patch berisi kepala hewan. Rumus intinya adalah softmax dari Q kali K transpose dibagi akar dimensi, lalu dikalikan V. Pada self-attention, video menunjukkan token di tubuh kuda hanya memperhatikan patch kuda lain sehingga seolah melakukan segmentasi. Vision transformer lengkap menambahkan multi-head attention, residual connection, dan LayerNorm. Karena transformer bersifat permutation equivariant, urutan diberikan lewat positional encoding berbasis sinus dan kosinus. Untuk model bahasa autoregresif seperti GPT, dipakai causal masking agar token hanya melihat token sebelumnya. Kuliah ditutup dengan makalah Attention Is All You Need dan contoh cross-attention untuk membuat keterangan gambar.

Kata kunci

transformer
self attention
patches
attention masking

Istilah

Arti

transformer

Arsitektur jaringan saraf yang memproses kumpulan token dengan attention dan MLP per token, dibahas di video ini sebagai arsitektur paling unggul saat ini di hampir semua bidang.

token

Satuan informasi berupa vektor neuron, misalnya hasil proyeksi satu patch gambar, yang menjadi unit dasar yang diolah transformer di video ini.

self attention

Jenis attention ketika setiap token dalam input sendiri memancarkan query untuk token lain, sehingga token dapat memperbarui dirinya dari bagian data yang mirip atau relevan.

query

Vektor hasil proyeksi token yang menyatakan informasi apa yang sedang dicari, lalu dicocokkan dengan key token lain melalui perkalian titik untuk menentukan besar perhatian.

linear combination

Penjumlahan berbobot dari beberapa vektor atau angka, yang di transformer dipakai untuk mencampur token dengan bobot yang ditentukan oleh attention.

MLP

Jaringan saraf terhubung penuh yang setiap neuron keluarannya terhubung ke semua masukan, dipakai di transformer sebagai fungsi nonlinear yang diterapkan pada setiap token.

patches

Potongan kecil gambar yang tidak saling tumpang tindih, lalu diratakan dan diproyeksikan menjadi token agar gambar bisa diolah oleh transformer.

nonlinearity

Fungsi tidak linear seperti ReLU yang membuat jaringan mampu mempelajari pola rumit, dan di transformer berbentuk MLP yang diterapkan sama pada setiap token.

attention masking

Teknik menolkan sebagian bobot attention, misalnya causal masking agar setiap token hanya melihat token sebelumnya saat model bahasa memprediksi kata berikutnya.

learnable parameters

Angka di dalam model yang disesuaikan lewat backpropagation selama pelatihan, seperti matriks proyeksi query, key, value, dan bobot MLP di transformer.

vector

Deretan angka yang mewakili suatu informasi, misalnya isi satu patch gambar, dan menjadi bentuk dasar setiap token di transformer.

graph nets

Jaringan saraf yang mengolah data berbentuk graf dengan menggabungkan informasi antar-simpul, dan di video ini transformer disebut sebagai graph net dengan graf terhubung penuh.