Transformers, the tech behind LLMs | Deep Learning Chapter 5
| Istilah | Arti |
|---|---|
| Generative Pretrained Transformer | Kepanjangan GPT, yaitu model yang menghasilkan teks baru, sudah dilatih awal dengan data sangat besar, dan dibangun di atas arsitektur jaringan saraf transformer. |
| GPT-3 | Model bahasa besar buatan OpenAI dengan 175 miliar parameter yang dipakai di video ini sebagai contoh untuk menghitung asal setiap kelompok bobot. |
| tokens | Potongan kecil input seperti kata, bagian kata, atau tanda baca yang menjadi satuan dasar yang diproses dan diprediksi oleh model. |
| embedding | Cara mengubah setiap token menjadi vektor berisi daftar angka sehingga kata dengan makna mirip letaknya berdekatan di ruang berdimensi tinggi. |
| attention block | Bagian transformer yang membuat vektor-vektor saling bertukar informasi sehingga makna sebuah kata bisa diperbarui sesuai kata lain di sekitarnya. |
| softmax | Fungsi yang mengubah daftar angka sembarang menjadi distribusi peluang bernilai 0 sampai 1 yang totalnya 1, dengan nilai terbesar mendapat peluang paling tinggi. |
| logits | Angka mentah yang belum dinormalkan dari keluaran model untuk setiap token, yang kemudian diubah menjadi peluang oleh softmax. |
| matrix | Tabel angka berbentuk baris dan kolom yang berisi bobot model, tempat hampir semua perhitungan transformer dilakukan lewat perkalian matriks dan vektor. |
| parameters | Angka yang dapat disetel seperti kenop dan diatur selama pelatihan dari data, sering disebut bobot, dan menentukan perilaku model. |
| context | Jumlah token yang bisa diproses model sekaligus saat memprediksi kata berikutnya, misalnya 2048 token pada GPT-3, sehingga membatasi panjang teks yang diperhitungkan. |
| probability distribution | Sebaran peluang untuk semua token yang mungkin muncul berikutnya, tempat model mengambil sampel untuk memilih kata yang akan ditulis. |
| deep learning | Kelompok model machine learning berlapis yang dilatih dengan backpropagation dan terbukti tetap bekerja baik ketika ukurannya diperbesar. |
Video dari 3Blue1Brown ini membuka seri penjelasan visual tentang apa yang sebenarnya terjadi di dalam transformer, jenis jaringan saraf yang menjadi penemuan inti di balik ledakan AI saat ini. Grant Sanderson menjelaskan bahwa GPT adalah singkatan dari Generative Pretrained Transformer, lalu menelusuri aliran data dari awal sampai akhir. Teks dipecah menjadi token, setiap token diubah menjadi vektor, vektor saling bertukar informasi lewat attention block, lalu melewati multi-layer perceptron, dan proses ini berulang. Di ujungnya, vektor terakhir diubah menjadi distribusi peluang untuk token berikutnya. Dengan mengambil sampel dari distribusi itu, menambahkannya ke teks, dan mengulang prediksi, model bisa menulis teks panjang, seperti yang terjadi saat ChatGPT menjawab kata demi kata. Video ini penting karena membangun fondasi yang dibutuhkan untuk memahami mekanisme attention di bab berikutnya, yaitu embedding kata, softmax, dot product, dan gagasan bahwa hampir semua perhitungan berupa perkalian matriks berisi parameter yang bisa disetel.
Sanderson mengulas dasar deep learning, mulai dari regresi linear dengan dua parameter sampai GPT-3 yang memiliki 175 miliar bobot dalam hampir 28.000 matriks yang terbagi ke delapan kategori. Ia membandingkan GPT-2 yang menghasilkan cerita kacau dengan GPT-3 yang ceritanya masuk akal. Matriks embedding GPT-3 memetakan 50.257 token ke vektor berdimensi 12.288, sekitar 617 juta bobot, dan arah di ruang ini membawa makna, misalnya selisih woman dan man yang mirip selisih king dan queen. Dot product dipakai untuk mengukur keselarasan dua vektor, seperti arah jamak dari cats dikurangi cat. Context size GPT-3 adalah 2048 token, yang menjelaskan mengapa chatbot lama kehilangan alur percakapan. Matriks unembedding menambah 617 juta parameter lagi dan menghasilkan logits, yang kemudian dinormalkan oleh softmax. Ia juga menunjukkan efek temperature: nilai nol menghasilkan cerita klise mirip Goldilocks, sedangkan nilai tinggi membuat cerita lebih orisinal tetapi cepat menjadi tidak masuk akal.
Kata kunci
- GPT
- transformer
- embedding
- softmax
- Menelusuri alur data di dalam GPT: token diubah menjadi embedding lalu diproses oleh attention block.
- Menjelaskan embedding (arah makna seperti king dan queen), unembedding, softmax, dan logits.
- Menghitung dari mana 175 miliar parameter GPT-3 berasal lewat matriks-matriks penyusunnya.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.