Give me 31 minutes, I will make PyTorch click forever
| Istilah | Arti |
|---|---|
| PyTorch | Library Python populer untuk membangun dan melatih model deep learning, yang di video ini dipelajari lewat contoh prediksi tarif taksi New York. |
| tensors | Kisi berisi angka dengan satu sumbu atau lebih, misalnya tabel tarif taksi berukuran 3x12 dengan tiga hari dan dua belas slot waktu. |
| loss | Satu angka yang menyatakan seberapa salah prediksi model, di video ini dihitung sebagai rata-rata kuadrat selisih prediksi dan tarif asli. |
| gradients | Kumpulan turunan loss terhadap setiap bobot yang menunjukkan ke arah mana bobot harus digeser agar loss turun. |
| backward | Perintah PyTorch yang menelusuri grafik perhitungan dari loss ke belakang untuk mengisi gradient setiap bobot dan menambahkannya ke nilai sebelumnya. |
| autograd | Fitur PyTorch yang mencatat setiap operasi pada tensor lalu menghitung gradient secara otomatis dengan chain rule, menggantikan hitungan manual. |
| gradient descent | Cara melatih model dengan berulang kali menggeser bobot sedikit berlawanan arah gradient sampai loss menjadi kecil. |
| optimizer | Objek PyTorch yang memegang semua bobot model lalu memperbaruinya lewat step dan membersihkan gradientnya lewat zero_grad. |
| learning rate | Angka kecil pengali gradient yang menentukan seberapa jauh bobot bergeser di setiap langkah, di video ini sebesar 0,01 agar tidak melompat terlalu jauh. |
| nn.Linear | Layer bawaan PyTorch yang mengalikan input dengan bobot lalu menambahkan bias, sama dengan model garis tarif taksi yang dibuat manual di video. |
| SGD | Singkatan stochastic gradient descent, optimizer paling sederhana di PyTorch yang memperbarui bobot dari batch data acak. |
| cross entropy | Fungsi loss untuk tugas memilih kategori, misalnya menebak hari perjalanan taksi, berbeda dengan mean squared error yang dipakai untuk angka. |
Video ini menjelaskan dasar PyTorch lewat lima baris yang selalu ada di setiap skrip training, yaitu memprediksi, mengukur loss, menghitung gradient, memperbarui bobot, dan membersihkan gradient. Pertanyaan utamanya adalah apa yang sebenarnya dihitung backward, apa yang diubah step, dan mengapa gradient harus dibersihkan. Seluruh materi memakai satu contoh nyata, yaitu 36 perjalanan taksi kuning New York pada tiga hari di Januari 2024, untuk memprediksi tarif dari jarak tempuh. Materinya dibagi menjadi beberapa perhentian: tensor dan operasinya, prediksi, fungsi loss, gradient descent yang dihitung manual, autograd, lalu loop profesional. Dengan begitu penonton paham setiap baris kode, bukan sekadar menyalinnya.
Tarif disimpan dalam tensor berukuran 3x12, lalu video membahas indexing, boolean mask, mean dan max dengan argumen dim, reshape, dan flatten. Model berupa garis W kali jarak ditambah B, dimulai dari W sama dengan 1 dan B sama dengan 0, sehingga mean squared error awalnya 262,02. Gradient dihitung manual dengan chain rule, lalu langkah diambil berlawanan arah gradient dengan learning rate 0,01. Setelah seribu langkah loss turun ke 10,15 dengan W 3,76 dan B 5,66, dekat dengan tarif resmi 3,50 dolar per mil. Autograd memberi angka yang sama, tetapi backward menambahkan gradient sehingga zero_grad wajib dipanggil. Video lalu memakai torch.optim.SGD, nn.Module, nn.MSELoss, nn.Linear, penyimpanan state dict, dan DataLoader dengan batch 12. Untuk mencapai titik terbaik, SGD butuh 551 langkah, momentum 100, dan Adam 88. Penutupnya membahas fungsi aktivasi seperti ReLU serta pilihan loss L1, Huber, dan cross entropy.
Kata kunci
- PyTorch
- tensors
- autograd
- gradient descent
- Membuat dan mengolah tensor (indexing, slicing, dim) di PyTorch dengan contoh tarif taksi New York.
- Menghitung loss dan gradients lewat autograd, gradient descent manual, lalu dengan optimizer.
- Menulis training loop lima baris (predict, loss, backward, step, clear gradients) dan memperbaiki shape error.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.