Modul 23

Tokenisasi

Bagian 3 · Deep generative model · Under The Hood

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
Common Crawl	Kumpulan data hasil penyalinan internet berisi sekitar 250 miliar halaman web, dipakai di video ini sebagai contoh sumber data utama untuk melatih GPT-3.
data set	Kumpulan data yang dikumpulkan dan dibersihkan untuk melatih model, yang menurut video ini harus beragam dan bebas dari konten ganda atau berkualitas rendah.
tokenization	Proses memecah teks menjadi potongan kecil bernama token yang masing-masing diberi angka agar dapat diproses oleh model bahasa.
tokens	Potongan teks hasil tokenisasi, bisa berupa kata, karakter, atau bagian kata, yang menjadi satuan masukan bagi model bahasa.
vocabulary	Himpunan token unik yang masing-masing dipetakan ke sebuah angka bulat, sehingga tokenizer tahu nomor untuk setiap potongan teks.
out of vocabulary	Kondisi ketika sebuah kata tidak ada dalam kosakata tokenizer sehingga tidak mendapat nomor, seperti kata "is" dan "sleeping" pada contoh di video.
character level	Cara tokenisasi yang menjadikan setiap huruf sebagai satu token, sehingga kosakata kecil tetapi urutan teks menjadi panjang dan miskin makna.
word level	Cara tokenisasi yang menjadikan setiap kata utuh sebagai satu token, sehingga makna kata terjaga tetapi kosakata membengkak dan rawan kata asing.
subword	Potongan bagian kata yang sering muncul, misalnya "low" dan "er", yang dipakai sebagai token agar kata langka tetap bisa diwakili.
tokenizer	Alat yang dilatih terpisah sebelum model bahasa untuk mengubah teks menjadi token beserta nomornya, dan sebaliknya.
context length	Jumlah maksimal token yang diproses model dalam satu contoh latihan, misalnya 1.024 token pada GPT-2 dan 2.048 token pada GPT-3.
byte pair encoding	Algoritma tokenisasi yang dipakai GPT untuk menggabungkan pasangan karakter yang sering muncul menjadi subword, sehingga ukuran kosakata dan panjang teks tetap seimbang.

Video dari kanal Under The Hood ini membahas langkah pertama dalam melatih large language model (LLM), yaitu menyiapkan data set dan melakukan tokenisasi. LLM dilatih dengan data berukuran sangat besar yang berisi triliunan token, dan data itu tidak bisa langsung dipakai. Video ini menjelaskan jenis data yang digunakan, proses pembersihan yang diperlukan, cara teks dipecah menjadi token, serta cara data disusun menjadi contoh latihan. Pertanyaan utamanya adalah bagaimana mengubah teks mentah dari internet menjadi angka yang bisa dipelajari model tanpa kehilangan makna dan tanpa membuat komputasi terlalu mahal. Topik ini penting karena tokenisasi menentukan seberapa baik model memahami kata yang jarang muncul, seberapa panjang urutan teks yang harus diproses, dan seberapa besar kosakata yang harus dikelola. Pemahaman ini juga menjadi dasar untuk video berikutnya tentang embedding dan mekanisme attention.

Sumber data yang paling umum adalah Common Crawl, hasil penyalinan internet berisi sekitar 250 miliar halaman web. Data ini harus dibersihkan dari kode HTML yang tidak berguna, ujaran kebencian, bias, misinformasi, konten ganda, teks acak, dan komentar media sosial berkualitas rendah, lalu dilengkapi data dari berbagai bidang. Video kemudian membandingkan tokenisasi tingkat kata, yang menimbulkan masalah out of vocabulary dan kosakata besar, dengan tokenisasi tingkat karakter, yang membuat kalimat "how are you" menjadi 11 token alih-alih tiga. Solusi yang dipakai GPT adalah byte pair encoding, algoritma dari Philip Gage tahun 1994 yang menggabungkan pasangan karakter yang sering muncul sehingga kata "lower" dipecah menjadi "low" dan "er". Video juga menjelaskan token khusus seperti system, user, dan assistant, lalu menunjukkan bahwa label latihan adalah teks yang digeser satu token ke kanan. Sebagai contoh, GPT-2 dilatih dengan sekitar 8 juta halaman web, kosakata 50.257 token, dan konteks 1.024 token, sedangkan GPT-3 memiliki 175 miliar parameter, konteks 2.048 token, dan sekitar 400 miliar token data.

Kata kunci

tokenization
byte pair encoding
subword
data set preparation

Istilah

Arti

Common Crawl

Kumpulan data hasil penyalinan internet berisi sekitar 250 miliar halaman web, dipakai di video ini sebagai contoh sumber data utama untuk melatih GPT-3.

data set

Kumpulan data yang dikumpulkan dan dibersihkan untuk melatih model, yang menurut video ini harus beragam dan bebas dari konten ganda atau berkualitas rendah.

tokenization

Proses memecah teks menjadi potongan kecil bernama token yang masing-masing diberi angka agar dapat diproses oleh model bahasa.

tokens

Potongan teks hasil tokenisasi, bisa berupa kata, karakter, atau bagian kata, yang menjadi satuan masukan bagi model bahasa.

vocabulary

Himpunan token unik yang masing-masing dipetakan ke sebuah angka bulat, sehingga tokenizer tahu nomor untuk setiap potongan teks.

out of vocabulary

Kondisi ketika sebuah kata tidak ada dalam kosakata tokenizer sehingga tidak mendapat nomor, seperti kata "is" dan "sleeping" pada contoh di video.

character level

Cara tokenisasi yang menjadikan setiap huruf sebagai satu token, sehingga kosakata kecil tetapi urutan teks menjadi panjang dan miskin makna.

word level

Cara tokenisasi yang menjadikan setiap kata utuh sebagai satu token, sehingga makna kata terjaga tetapi kosakata membengkak dan rawan kata asing.

subword

Potongan bagian kata yang sering muncul, misalnya "low" dan "er", yang dipakai sebagai token agar kata langka tetap bisa diwakili.

tokenizer

Alat yang dilatih terpisah sebelum model bahasa untuk mengubah teks menjadi token beserta nomornya, dan sebaliknya.

context length

Jumlah maksimal token yang diproses model dalam satu contoh latihan, misalnya 1.024 token pada GPT-2 dan 2.048 token pada GPT-3.

byte pair encoding

Algoritma tokenisasi yang dipakai GPT untuk menggabungkan pasangan karakter yang sering muncul menjadi subword, sehingga ukuran kosakata dan panjang teks tetap seimbang.