Mengajar cara kerja LLM dari nol
Mantan peneliti AI di OpenAI dan Tesla yang membuat video edukasi tentang neural network, membangun GPT dari nol, dan cara kerja LLM.
Gratis, cukup daftar sekali. 10 video pilihan, total sekitar 22 jam 29 menit.
1Deep Dive into LLMs like ChatGPT3 jam 31 menitMengikuti pengantar komprehensif untuk audiens umum tentang large language model seperti ChatGPT, untuk membangun model mental tentang apa yang ada di balik kotak teks.IntermediateEvergreen
2Let's build GPT: from scratch, in code, spelled out.1 jam 56 menitMengikuti kuliah membangun GPT dari nol dalam kode: dari data teks Shakespeare, tokenisasi karakter, block size, dan batch, sampai menghitung loss serta menghasilkan teks dari model.AdvanceEvergreen
3The spelled-out intro to neural networks and backpropagation: building micrograd2 jam 26 menitMengikuti kuliah membangun micrograd dari notebook kosong untuk melihat apa yang terjadi di balik layar saat neural network dilatih.IntermediateEvergreen
4[1hr Talk] Intro to Large Language Models1 jamMengikuti pengantar singkat untuk orang sibuk tentang large language model: LLM pada dasarnya dua file, dengan contoh Llama 2 70B dari Meta.BeginnerEvergreen
5How I use LLMs2 jam 11 menitMenunjukkan penggunaan praktis LLM seperti ChatGPT dalam hidup dan pekerjaan, dengan banyak contoh dan penjelasan semua pengaturan yang tersedia.BeginnerPerishable
6The spelled-out intro to language modeling: building makemore1 jam 58 menitMembangun model bahasa tingkat karakter (bigram) dengan makemore: dari tabel hitungan sampai probabilitas karakter berikutnya.EngineerEvergreenModul 20
7Let's build the GPT Tokenizer2 jam 14 menitMengikuti kuliah tentang tokenisasi pada large language model, bagian yang paling tidak disukai pembicara tetapi penting karena banyak keanehan LLM berakar di sana.AdvanceEvergreen
8Let's reproduce GPT-2 (124M)4 jam 1 menitMengikuti kuliah mereproduksi model GPT-2 versi 124 juta parameter dari awal dalam PyTorch, lengkap dengan data loader, data set, dan optimasi pelatihan.AdvanceEvergreen
9Building makemore Part 2: MLP1 jam 16 menitMelanjutkan makemore dengan model bahasa berbasis MLP yang melihat beberapa karakter sebelumnya, bukan hanya satu seperti model bigram.IntermediateEvergreen
10Building makemore Part 3: Activations & Gradients, BatchNorm1 jam 56 menitMelanjutkan makemore dengan memperdalam pemahaman intuitif tentang aktivasi dan gradien neural net saat pelatihan, sebelum beralih ke RNN, GRU, dan LSTM.AdvanceEvergreenFoto: karpathy.ai