| Istilah | Arti |
|---|---|
| DDPM | Formulasi diffusion model yang dipopulerkan Jonathan Ho pada 2020, memakai Markov chain diskrit untuk menambah noise lalu jaringan saraf untuk membaliknya. |
| SDE | Persamaan diferensial stokastik, yaitu persamaan perubahan yang mengandung unsur acak, dipakai untuk menggambarkan proses penambahan noise secara kontinu. |
| score function | Fungsi yang memberi setiap titik sebuah arah menuju daerah berpeluang tinggi, diperlukan untuk membalik SDE dan dipelajari oleh jaringan saraf. |
| reverse SDE | Versi mundur dari SDE yang, menurut hasil Anderson tahun 1982, selalu ada dan dipakai untuk mengubah noise kembali menjadi data bersih. |
| Itô equation | Jenis persamaan diferensial stokastik yang terdiri dari bagian drift yang pasti dan bagian acak berupa proses Brown dengan koefisien difusi. |
| drift | Bagian persamaan yang mendorong partikel ke arah tertentu secara pasti seperti angin, yang pada DDPM menarik data ke titik nol. |
| Gaussian noise | Gangguan acak berdistribusi normal yang ditambahkan sedikit demi sedikit ke gambar sampai gambar berubah menjadi noise murni. |
| Markov chain | Rangkaian langkah acak di mana setiap keadaan hanya bergantung pada keadaan sebelumnya, dipakai DDPM untuk merusak data secara bertahap. |
| diffusion models | Model AI generatif yang belajar membalik proses penambahan noise sehingga bisa membuat gambar baru dari noise acak. |
| flow matching | Model generatif yang lebih baru dan juga dibangun di atas formulasi SDE, yang dijanjikan pembicara untuk dibahas di video mendatang. |
| beta | Parameter yang bergantung waktu dan menentukan seberapa banyak noise ditambahkan di setiap langkah, sekaligus muncul dalam drift dan koefisien difusi. |
| noising process | Proses maju yang merusak data secara bertahap dengan menambah noise hingga distribusinya menjadi Gaussian, yang kemudian dibalik untuk membuat data baru. |
Video dari kanal Deepia ini membahas formulasi kedua dari diffusion models, yaitu score-based diffusion yang diperkenalkan Yang Song pada 2021, setelah video sebelumnya membahas DDPM yang dipopulerkan Jonathan Ho pada 2020. Pembicara membuka dengan analogi partikel kecil yang bergerak acak di ruang, karena persamaan fisika yang mengatur gerak partikel itu ternyata menjadi inti banyak AI generatif masa kini. Pertanyaan utamanya adalah bagaimana proses penambahan noise yang tampak kacau bisa dibalik untuk menghasilkan data baru. Kedua formulasi menggambarkan objek yang sama dan sama-sama sah, tetapi pembicara lebih menyukai versi score-based karena jauh lebih umum. Pemahaman ini penting karena formulasi SDE juga menjadi dasar model generatif yang lebih baru, yaitu flow matching.
Secara konkret, video ini menunjukkan bahwa Markov chain diskrit pada DDPM, bila langkahnya dibuat sangat kecil, berubah menjadi persamaan Itô dengan drift sebesar minus setengah beta kali x dan koefisien difusi akar beta. Persamaan ini mengubah distribusi apa pun menjadi Gaussian. Hasil Anderson tahun 1982 menyatakan setiap SDE maju punya reverse SDE, yang drift-nya membutuhkan score function dari distribusi data bernoise di setiap waktu. Score ini dipelajari oleh jaringan U-Net yang menerima gambar bernoise dan langkah waktu, dilatih dengan denoising score matching sehingga loss-nya mirip loss DDPM, hanya tandanya berlawanan. Untuk menghasilkan sampel, reverse SDE didiskretisasi dengan metode Euler-Maruyama. Rangkumannya, kedua pendekatan berakhir dengan loss L2 berbobot terhadap Gaussian noise, tetapi score-based memberi kebebasan memilih SDE, solver, dan tujuan pelatihan lain.
Kata kunci
- DDPM
- SDE
- reverse SDE
- score function
- Menjelaskan formulasi kedua model difusi, yaitu score-based diffusion model dan persamaan diferensial stokastik (SDE), dimulai dari analogi partikel yang bergerak acak dan persamaan fisika yang mengaturnya.
- Menunjukkan bagaimana rantai Markov pada DDPM konvergen ke persamaan Itô dengan koefisien drift dan difusi, lalu SDE terbalik (reverse SDE) dan score function.
- Menurunkan skor kondisional yang hanya bergantung pada noise Gaussian sehingga tujuan pelatihan mirip DDPM, dan menyebut flow matching sebagai topik berikutnya.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.