| Istilah | Arti |
|---|---|
| large language model | Fungsi matematika raksasa yang memprediksi kata berikutnya dari sebuah teks dengan memberi probabilitas pada setiap kemungkinan kata. |
| chatbot | Program percakapan yang menurut video bekerja dengan meminta model bahasa terus menebak kata berikutnya dari jawaban seorang asisten AI. |
| parameters | Ratusan miliar angka yang dapat disetel di dalam model, disebut juga bobot, dan menentukan probabilitas kata berikutnya yang dihasilkan. |
| training data | Kumpulan teks sangat besar, umumnya dari internet, yang dipakai model untuk belajar menebak kata berikutnya dengan tepat. |
| GPUs | Chip komputer khusus yang mampu menjalankan banyak operasi secara paralel, sehingga pelatihan model bahasa berskala raksasa menjadi mungkin. |
| transformers | Arsitektur model yang diperkenalkan tim Google pada 2017 dan membaca seluruh teks sekaligus secara paralel, bukan kata demi kata. |
| attention | Operasi dalam transformer yang membuat daftar angka setiap kata saling bertukar konteks, misalnya agar kata bank dipahami sebagai tepi sungai. |
| feed-forward neural network | Bagian kedua dalam transformer yang memberi model kapasitas tambahan untuk menyimpan pola bahasa yang dipelajari selama pelatihan. |
| next word | Kata selanjutnya dalam sebuah teks, yang menjadi sasaran tebakan utama model bahasa setiap kali menghasilkan jawaban. |
| probability | Ukuran peluang setiap kata untuk menjadi kata berikutnya, yang dikeluarkan model sebagai daftar kemungkinan, bukan satu jawaban pasti. |
| random | Unsur acak saat memilih kata yang kurang mungkin, membuat jawaban terasa alami dan berbeda setiap kali prompt yang sama dijalankan. |
| emergent | Sifat perilaku yang muncul sendiri dari penyetelan miliaran parameter, bukan dirancang langsung, sehingga sulit dijelaskan penyebabnya. |
Video dari 3Blue1Brown ini menjelaskan secara ringkas cara kerja large language model, mesin di balik chatbot seperti asisten AI. Grant Sanderson membuka dengan perumpamaan naskah film yang bagian jawaban AI-nya sobek, lalu dilengkapi oleh mesin ajaib yang terus menebak kata berikutnya. Menurutnya, inilah yang sebenarnya terjadi saat kita mengobrol dengan chatbot. LLM adalah fungsi matematika canggih yang memberi probabilitas untuk setiap kemungkinan kata berikutnya, bukan satu jawaban pasti. Memahami hal ini penting karena menjelaskan mengapa jawaban chatbot terasa lancar, mengapa jawabannya bisa berbeda setiap kali dijalankan, dan mengapa perilaku model sulit dijelaskan bahkan oleh penelitinya sendiri.
Video memaparkan bahwa model belajar dari teks dalam jumlah sangat besar; manusia butuh lebih dari 2.600 tahun membaca tanpa henti untuk menghabiskan data latih GPT-3. Perilaku model ditentukan oleh ratusan miliar parameter yang awalnya acak, lalu disetel lewat backpropagation agar makin mungkin menebak kata terakhir yang benar. Jika seseorang mampu melakukan satu miliar operasi per detik, melatih model terbesar akan memakan waktu lebih dari 100 juta tahun. Setelah pre-training, chatbot menjalani reinforcement learning with human feedback. Komputasi ini hanya mungkin dengan GPU dan arsitektur transformer yang diperkenalkan Google pada 2017, yang membaca teks secara paralel. Di dalamnya, setiap kata diubah menjadi daftar angka, lalu diperkaya oleh attention dan feed-forward neural network. Perilaku akhirnya bersifat emergent, sehingga sulit ditelusuri mengapa model memberi prediksi tertentu.
Kata kunci
- large language model
- chatbot
- transformers
- parameters
- Menjelaskan LLM sebagai fungsi yang memprediksi kata berikutnya dan bagaimana itu menjadi chatbot.
- Menerangkan peran parameter, pelatihan dengan data sangat besar, dan GPU.
- Memahami transformer, attention, dan feed-forward neural network secara garis besar serta mengapa perilaku modelnya sulit dijelaskan.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.