Deep Dive into LLMs like ChatGPT

IntermediateEvergreen

Istilah sulit di video ini dan artinya
Istilah	Arti
large language models	Program AI berbasis neural network yang dilatih pada teks dalam jumlah sangat besar untuk menebak kata berikutnya, seperti ChatGPT yang dibedah cara kerjanya di video ini.
tokens	Potongan kecil teks yang masing-masing diberi nomor unik, sehingga seluruh teks maupun percakapan diubah menjadi deretan angka yang bisa diproses model.
neural network	Rumus matematika raksasa berisi miliaran angka yang bisa disetel, menerima deretan token sebagai masukan lalu menghasilkan peluang untuk token berikutnya.
base model	Model hasil tahap pre-training yang hanya meniru dokumen internet dan melanjutkan teks seperti autocomplete, belum bisa menjawab pertanyaan layaknya asisten.
reinforcement learning	Tahap pelatihan berupa coba-coba ketika model membuat banyak jawaban sendiri lalu diperkuat pada cara yang berhasil mencapai jawaban benar, mirip berlatih soal latihan.
labeler	Orang yang dibayar perusahaan AI untuk menulis pertanyaan dan jawaban ideal asisten mengikuti instruksi tertulis, sehingga jawaban chatbot meniru gaya mereka.
conversations	Kumpulan dialog antara manusia dan asisten yang menjadi data latih tahap kedua, diubah menjadi token dengan penanda khusus untuk setiap giliran bicara.
assistant	Versi model yang sudah dilatih lanjutan agar bisa diajak tanya jawab dengan sopan dan membantu, berbeda dari base model yang hanya melanjutkan teks.
data set	Kumpulan data yang dipakai untuk melatih model, misalnya FineWeb berisi teks internet atau kumpulan percakapan buatan labeler untuk tahap fine-tuning.
parameters	Angka-angka di dalam neural network yang disetel selama pelatihan seperti kenop mixer DJ, tempat pengetahuan model tersimpan secara samar dan terkompresi.
DeepSeek	Perusahaan AI asal Tiongkok yang makalah model R1-nya membuka secara publik cara reinforcement learning memunculkan kemampuan berpikir bertahap pada model bahasa.
training set	Kumpulan contoh yang benar-benar dilihat model saat dilatih, sehingga perilaku dan gaya jawaban model mengikuti pola statistik dari contoh tersebut.

Dalam video panjang ini, Andrej Karpathy memberikan pengenalan menyeluruh tentang large language models seperti ChatGPT untuk penonton umum. Ia ingin menjawab pertanyaan sederhana namun penting: apa yang sebenarnya terjadi ketika kita mengetik sesuatu ke kotak teks ChatGPT, dari mana jawabannya berasal, dan dengan apa kita sebenarnya sedang berbicara. Karpathy menelusuri seluruh alur pembuatan model dalam tiga tahap besar, yaitu pre-training, supervised fine-tuning, dan reinforcement learning, lalu membandingkannya dengan cara anak belajar dari buku pelajaran: membaca penjelasan, meniru contoh soal yang sudah dikerjakan, lalu berlatih sendiri. Di sepanjang video ia juga membahas apa yang ia sebut psikologi LLM, yaitu kebiasaan dan kelemahan yang muncul dari cara model dilatih, seperti halusinasi, kesulitan berhitung, dan lemah dalam mengeja. Bagi penonton, pemahaman ini penting agar bisa memakai model sebagai alat yang sangat berguna tanpa mempercayainya secara buta, karena kemampuannya ia gambarkan seperti keju Swiss yang hebat di banyak hal tetapi berlubang di tempat yang tak terduga.

Tahap pre-training dimulai dari data internet seperti dataset FineWeb buatan Hugging Face, sekitar 44 terabyte atau 15 triliun token, yang disaring dari Common Crawl lalu dipecah menjadi token dengan byte pair encoding (GPT-4 memakai 100.277 simbol). Neural network Transformer dilatih menebak token berikutnya; Karpathy memperlihatkan pelatihan ulang GPT-2 di mesin 8 GPU H100 dengan biaya sekitar 600 dolar, lalu mencoba base model Llama 3.1 405B di Hyperbolic yang hanya melanjutkan teks seperti autocomplete mahal. Tahap kedua melatih model pada data percakapan yang ditulis labeler manusia mengikuti instruksi perusahaan, sehingga jawaban ChatGPT pada dasarnya adalah simulasi seorang labeler. Ia menjelaskan cara Meta mengurangi halusinasi, penggunaan alat seperti pencarian web dan code interpreter, serta alasan model butuh banyak token untuk berpikir. Tahap ketiga, reinforcement learning, dicontohkan lewat makalah DeepSeek R1 yang memunculkan rantai pemikiran, AlphaGo dengan langkah 37, dan RLHF yang menurutnya hanya penyempurnaan kecil karena reward model bisa diakali. Video ditutup dengan tren masa depan seperti model multimodal dan agent, serta sumber seperti LM Arena, newsletter AI News, together.ai, dan LM Studio.

Kata kunci

base model
tokens
reinforcement learning
labeler

Istilah

Arti

large language models

Program AI berbasis neural network yang dilatih pada teks dalam jumlah sangat besar untuk menebak kata berikutnya, seperti ChatGPT yang dibedah cara kerjanya di video ini.

tokens

Potongan kecil teks yang masing-masing diberi nomor unik, sehingga seluruh teks maupun percakapan diubah menjadi deretan angka yang bisa diproses model.

neural network

Rumus matematika raksasa berisi miliaran angka yang bisa disetel, menerima deretan token sebagai masukan lalu menghasilkan peluang untuk token berikutnya.

base model

Model hasil tahap pre-training yang hanya meniru dokumen internet dan melanjutkan teks seperti autocomplete, belum bisa menjawab pertanyaan layaknya asisten.

reinforcement learning

Tahap pelatihan berupa coba-coba ketika model membuat banyak jawaban sendiri lalu diperkuat pada cara yang berhasil mencapai jawaban benar, mirip berlatih soal latihan.

labeler

Orang yang dibayar perusahaan AI untuk menulis pertanyaan dan jawaban ideal asisten mengikuti instruksi tertulis, sehingga jawaban chatbot meniru gaya mereka.

conversations

Kumpulan dialog antara manusia dan asisten yang menjadi data latih tahap kedua, diubah menjadi token dengan penanda khusus untuk setiap giliran bicara.

assistant

Versi model yang sudah dilatih lanjutan agar bisa diajak tanya jawab dengan sopan dan membantu, berbeda dari base model yang hanya melanjutkan teks.

data set

Kumpulan data yang dipakai untuk melatih model, misalnya FineWeb berisi teks internet atau kumpulan percakapan buatan labeler untuk tahap fine-tuning.

parameters

Angka-angka di dalam neural network yang disetel selama pelatihan seperti kenop mixer DJ, tempat pengetahuan model tersimpan secara samar dan terkompresi.

DeepSeek

Perusahaan AI asal Tiongkok yang makalah model R1-nya membuka secara publik cara reinforcement learning memunculkan kemampuan berpikir bertahap pada model bahasa.

training set

Kumpulan contoh yang benar-benar dilihat model saat dilatih, sehingga perilaku dan gaya jawaban model mengikuti pola statistik dari contoh tersebut.