Word embedding
Bagian 6 · Menggunakan model
| Istilah | Arti |
|---|---|
| one hot encoding | Cara mewakili tiap kata dengan vektor sepanjang jumlah kosakata yang hanya berisi satu angka satu dan sisanya nol, sederhana tetapi boros dan tanpa makna. |
| word embedding | Teknik mewakili kata sebagai vektor angka padat sehingga kata yang maknanya mirip letaknya berdekatan dalam ruang vektor. |
| embedding vector | Deretan angka padat milik satu kata atau token, misalnya tiga dimensi pada contoh video, yang menyimpan makna kata tersebut. |
| embedding matrix | Tabel bobot hasil pelatihan dengan baris sebanyak kosakata dan kolom sebanyak dimensi embedding, dipakai sebagai tabel pencarian vektor tiap kata. |
| vector space | Ruang berdimensi banyak tempat vektor kata diletakkan, sehingga jarak dan arah antarvektor mencerminkan hubungan makna antarkata. |
| Word2Vec | Metode dari Google untuk melatih word embedding secara efisien, memakai teknik continuous bag of words dan skip gram. |
| continuous bag of words | Teknik Word2Vec yang melatih jaringan saraf sederhana untuk menebak kata tengah dari kata-kata di sekitarnya dalam jendela yang digeser sepanjang teks. |
| skip gram | Teknik Word2Vec kebalikan dari continuous bag of words, yaitu memakai kata tengah untuk menebak kata-kata di sekitarnya. |
| semantic meaning | Makna sebuah kata, misalnya good dan great yang mirip, sehingga mengganti kata dengan sinonimnya tidak mengubah arti kalimat. |
| vocabulary size | Jumlah kata atau token unik yang dikenal model, yang menentukan panjang vektor one hot dan jumlah baris embedding matrix. |
| embedding layer | Lapisan pertama decoder Transformer yang mengubah token menjadi vektor, dengan bobot yang dilatih bersama seluruh model untuk menebak token berikutnya. |
| tokenization | Proses memecah teks menjadi token yang masing-masing diberi nomor unik, langkah sebelum token diubah menjadi embedding. |
Video ini menjelaskan word embedding, cara mengubah kata menjadi angka yang tetap membawa makna, sebagai bagian dari seri tentang cara kerja model bahasa besar. Titik awalnya adalah aturan bahwa model machine learning hanya menerima angka, seperti gambar grayscale yang tiap pikselnya bernilai nol sampai satu. Untuk teks, memberi nomor token begitu saja bermasalah karena model bisa mengira kata yang nomornya berdekatan punya makna mirip. Video lalu membahas one hot encoding yang menghapus urutan palsu tetapi boros memori dan tidak menangkap makna, serta bag of words dan n-gram yang menambah sedikit konteks tetapi menghasilkan vektor sangat besar dan jarang. Contoh kalimat tentang Sarah di perpustakaan tua menunjukkan bahwa model perlu memahami makna kata sekaligus konteks kalimat. Inilah alasan embedding dan attention mechanism menjadi kunci dalam model bahasa modern.
Word embedding mewakili kata sebagai vektor padat dalam vector space, sehingga kata yang mirip seperti king dan queen letaknya berdekatan, sementara cat berjauhan. Operasi vektor king dikurangi man ditambah woman menghasilkan vektor dekat queen, dan Beijing ditambah Japan dikurangi China mendekati Tokyo. Embedding dimulai acak lalu dilatih, dan bisa divisualkan dengan principal component analysis. Word2Vec dari Google memakai dua teknik: continuous bag of words yang menebak kata tengah dari kata sekitar dalam jendela, misalnya fox dan over untuk jumps, serta skip gram yang melakukan kebalikannya. Setelah pelatihan, bobot lapisan tersembunyi menjadi embedding matrix berukuran vocabulary size kali dimensi embedding, misalnya 8 kali 3, yang berfungsi sebagai tabel pencarian. Di decoder Transformer, embedding layer dilatih bersama seluruh model, lalu ditambah vektor posisi karena semua token diproses paralel. Video berikutnya akan membahas attention mechanism.
Kata kunci
- word embedding
- one hot encoding
- embedding matrix
- continuous bag of words
- Menjelaskan mengapa teks harus diubah menjadi angka dan kelemahan one hot encoding (sparse dan tidak menangkap makna).
- Memahami word embedding sebagai vektor yang menangkap makna dan hubungan antar-kata (contoh king, queen, Beijing, Tokyo).
- Menjelaskan model continuous bag of words dan skip gram serta embedding matrix sebagai lookup table di LLM.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.