Stanford CME296 Diffusion & Large Vision Models | Spring 2026 | Lecture 1 - Diffusion

Video ini adalah kuliah pertama kelas Stanford CME296 tentang diffusion dan model visi besar, dibawakan oleh saudara kembar Afshine dan Shervine. Setelah memperkenalkan diri, prasyarat (aljabar linear, teori peluang, persamaan diferensial, dan dasar machine learning), serta tata cara kelas, mereka menjelaskan bahwa delapan kuliah akan membahas cara membangkitkan gambar, pengondisian dengan prompt, arsitektur model, pelatihan, distilasi, dan evaluasi. Kuliah pertama berfokus pada pertanyaan inti: bagaimana sebuah model bisa menghasilkan gambar baru yang mirip data latih tanpa input apa pun. Hampir semua metode modern memulai dari noise Gaussian lalu memurnikannya sedikit demi sedikit menjadi gambar bersih, seperti pematung yang memahat bongkahan batu. Noise dipilih karena mudah diambil sampelnya, memberi keragaman hasil, dan sifat matematis distribusi Gaussian menyederhanakan banyak perhitungan. Materi ini penting karena menjadi dasar matematis bagi hampir semua model pembuat gambar yang dipakai saat ini, dan pengajar sendiri menyebutnya kuliah paling sulit dari seluruh rangkaian.

Afshine menguraikan DDPM langkah demi langkah. Gambar diwakili sebagai vektor berdimensi jumlah piksel dikali tiga, lalu forward process menambahkan noise bertahap mengikuti noise schedule beta yang makin besar, sehingga gambar pada langkah t bisa dihitung langsung dari gambar bersih memakai alpha bar. Karena marginalization atas semua lintasan mustahil dihitung, ia memakai ELBO lewat ketidaksamaan Jensen, memecahnya menjadi KL divergence antara dua Gaussian, dan memakai aturan Bayes serta sifat Markov hingga lossnya menjadi regresi L2 sederhana antara noise yang ditebak model dan noise sebenarnya. Pelatihan mengambil gambar, noise, dan langkah waktu secara acak, sedangkan inferensi berjalan mundur sekitar seribu langkah. Shervine lalu menjelaskan DDIM untuk mempercepat proses: keluarga proses q sigma yang marginalnya sama dengan DDPM, dan bila sigma bernilai nol proses pembangkitan menjadi deterministik sehingga langkah bisa dilompati. Percepatan 10 sampai 50 kali umum dipakai, dan grafik FID menunjukkan percepatan sekitar 20 kali masih mendekati kualitas tanpa lompatan.