But how do AI images and videos actually work? | Guest video by Welch Labs

Video tamu di kanal 3Blue1Brown ini dibuat oleh Stephen Welch dari kanal Welch Labs dan menjelaskan cara kerja model pembuat gambar dan video berbasis diffusion. Ia menunjukkan bahwa proses ini setara dengan gerak Brown pada partikel yang menyebar, tetapi dengan waktu diputar mundur dan di ruang berdimensi sangat tinggi. Lewat model terbuka WAN 2.1, penonton melihat video dimulai dari noise acak yang dimasukkan berulang kali ke transformer hingga sekitar 50 langkah menjadi video realistis. Pertanyaan utamanya adalah bagaimana model bisa membentuk noise menjadi gambar dan bagaimana teks prompt bisa mengarahkannya. Video ini dibagi menjadi tiga bagian: model CLIP yang mempelajari ruang bersama antara kata dan gambar, proses diffusion itu sendiri beserta kaitannya dengan fisika, serta cara menggabungkan keduanya agar hasil generasi mengikuti prompt.

CLIP dari OpenAI dilatih pada 400 juta pasangan gambar dan keterangan dengan tujuan kontrastif memakai cosine similarity, sampai selisih vektor foto bertopi dan tanpa topi paling mirip dengan kata hat. Makalah DDPM dari Berkeley melatih model menebak total noise, bukan satu langkah, dan menambahkan noise acak saat generasi; tanpa noise itu, Stable Diffusion menghasilkan pohon kecil yang buram. Dengan data mainan berbentuk spiral, Welch menunjukkan model mempelajari vector field yang bergantung waktu, disebut score function, yang menunjuk ke rata-rata data sehingga noise diperlukan agar hasil tidak buram. DDIM dari Stanford dan Google, berdasarkan persamaan Fokker-Planck, menghasilkan gambar bagus tanpa langkah acak dengan langkah lebih sedikit. Conditioning dengan teks saja tidak cukup, sehingga classifier-free guidance memperkuat selisih vektor bersyarat dan tanpa syarat dengan faktor alpha, membuat pohon muncul mulai alpha sekitar 2. WAN memakai negative prompt berbahasa Mandarin. Di akhir, Grant menjelaskan video tamu ini dibuat selama cuti kelahiran anak pertamanya.