Modul 26

Data pretraining

Bagian 4 · Di balik Frontier Lab

AdvanceEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
GPT-2 small	Versi kecil model GPT-2 dengan sekitar 124 juta parameter yang dipakai video ini sebagai contoh untuk menghitung ukuran dan proses pelatihan.
parameters	Angka-angka bobot di dalam model yang disesuaikan selama pelatihan, dan jumlahnya menentukan ukuran serta kebutuhan memori model.
embedding	Lapisan yang mengubah setiap token menjadi deretan angka bermakna, yang pada GPT-2 small saja berisi sekitar 38 juta parameter.
positional encoding	Informasi tambahan yang memberi tahu model urutan posisi kata, bisa berupa fungsi tetap atau lapisan yang ikut dilatih.
attention heads	Beberapa jalur attention yang bekerja paralel untuk menangkap hubungan antarkata yang berbeda, dan GPT-2 small memiliki 12 jalur seperti ini.
vocabulary	Daftar seluruh token yang dikenal model, yang pada GPT-2 small berjumlah 50.257 dan menentukan ukuran output setiap prediksi.
batch size	Jumlah urutan teks yang diproses sekaligus dalam satu langkah pelatihan, misalnya 32, dan makin besar makin boros memori.
cross entropy	Fungsi loss yang memberi nilai kecil bila model yakin pada token yang benar dan nilai besar bila model ragu atau salah.
GPU	Prosesor grafis yang sangat cepat untuk perhitungan matriks, sehingga menjadi perangkat utama untuk melatih model bahasa besar.
H100	GPU kelas atas dengan memori 80 GB yang disebut video ini sebagai salah satu GPU paling populer untuk melatih LLM.
loss	Angka yang mengukur seberapa jauh tebakan model dari jawaban benar, yang harus terus diturunkan selama pelatihan.
fine-tuning	Pelatihan lanjutan pada base model dengan data lebih kecil dan berkualitas, misalnya percakapan, agar model berperilaku seperti chatbot.

Video lanjutan dalam seri memahami large language model ini membahas bagaimana LLM dilatih untuk menghasilkan teks, setelah video sebelumnya membahas data set, tokenisasi, embedding, dan attention. Pembicara membagi topik menjadi tiga bagian besar: arsitektur model, sumber daya komputasi, dan apa saja yang dibutuhkan untuk melatih model deep learning sebesar ini. Dengan memakai GPT-2 small sebagai contoh, penonton diajak menghitung jumlah parameter, memahami cara data disusun menjadi batch, memperkirakan kebutuhan memori GPU, dan mengikuti satu langkah pelatihan dari input hingga pembaruan bobot. Materi ini penting bagi penonton yang ingin tahu kenapa melatih LLM begitu mahal, kenapa butuh banyak GPU, dan bagaimana model akhirnya bisa menebak token berikutnya dengan baik. Pada akhirnya, baik pre-training maupun fine-tuning bertumpu pada satu ide yang sama, yaitu melatih model memprediksi token berikutnya dari konteks.

GPT-2 small punya dimensi embedding 768, konteks 1.024 token, 12 lapisan decoder, 12 attention heads, dan kosakata 50.257 token, dengan total sekitar 124 juta parameter. Video menjelaskan training steps sebagai pengganti epoch, misalnya 50 juta token dengan batch 32 dan konteks 1.024 menghasilkan sekitar 1.526 langkah. Model 1 miliar parameter butuh 4 GB hanya untuk bobot, tetapi sekitar 30 GB untuk pelatihan karena gradien, state optimizer Adam, dan activation memory. Karena itu dipakai GPU seperti H100 berkapasitas 80 GB dengan data parallelism, pipeline parallelism, tensor parallelism, atau gabungannya. Satu langkah pelatihan melewati embedding, attention, feed forward dengan aktivasi GELU, logits, dan softmax, lalu dihitung sparse categorical cross entropy; tebakan acak menghasilkan loss sekitar 11. Bobot diperbarui dengan gradient descent dan Adam atau AdamW, ditambah gradient accumulation, warm-up learning rate, dan checkpoint. Hasilnya base model, yang lalu di-fine-tuning dengan data percakapan agar menjadi chatbot.

Kata kunci

GPT-2 small
batch size
cross entropy
fine-tuning

Istilah

Arti

GPT-2 small

Versi kecil model GPT-2 dengan sekitar 124 juta parameter yang dipakai video ini sebagai contoh untuk menghitung ukuran dan proses pelatihan.

parameters

Angka-angka bobot di dalam model yang disesuaikan selama pelatihan, dan jumlahnya menentukan ukuran serta kebutuhan memori model.

embedding

Lapisan yang mengubah setiap token menjadi deretan angka bermakna, yang pada GPT-2 small saja berisi sekitar 38 juta parameter.

positional encoding

Informasi tambahan yang memberi tahu model urutan posisi kata, bisa berupa fungsi tetap atau lapisan yang ikut dilatih.

attention heads

Beberapa jalur attention yang bekerja paralel untuk menangkap hubungan antarkata yang berbeda, dan GPT-2 small memiliki 12 jalur seperti ini.

vocabulary

Daftar seluruh token yang dikenal model, yang pada GPT-2 small berjumlah 50.257 dan menentukan ukuran output setiap prediksi.

batch size

Jumlah urutan teks yang diproses sekaligus dalam satu langkah pelatihan, misalnya 32, dan makin besar makin boros memori.

cross entropy

Fungsi loss yang memberi nilai kecil bila model yakin pada token yang benar dan nilai besar bila model ragu atau salah.

GPU

Prosesor grafis yang sangat cepat untuk perhitungan matriks, sehingga menjadi perangkat utama untuk melatih model bahasa besar.

H100

GPU kelas atas dengan memori 80 GB yang disebut video ini sebagai salah satu GPU paling populer untuk melatih LLM.

loss

Angka yang mengukur seberapa jauh tebakan model dari jawaban benar, yang harus terus diturunkan selama pelatihan.

fine-tuning

Pelatihan lanjutan pada base model dengan data lebih kecil dan berkualitas, misalnya percakapan, agar model berperilaku seperti chatbot.