MIT 6.S087: Foundation Models & Generative AI. IMAGE GENERATION
| Istilah | Arti |
|---|---|
| stable diffusion | Model AI pengubah teks menjadi gambar yang menghapus noise secara bertahap di ruang gambar yang sudah diperkecil, dan menjadi topik utama kuliah ini. |
| noise | Gangguan acak yang ditambahkan pada gambar, yang di video ini sengaja dibuat komputer lalu dihapus model selangkah demi selangkah untuk menghasilkan gambar. |
| randomness | Unsur acak yang diberikan sebagai masukan agar jaringan saraf yang deterministik bisa menghasilkan gambar berbeda setiap kali dijalankan. |
| encoder | Bagian autoencoder yang memadatkan gambar besar menjadi gambar kecil, sehingga proses difusi pada stable diffusion bisa berjalan lebih hemat komputasi. |
| critic | Model pembanding dalam gaya GAN yang belajar membedakan gambar asli dari gambar buatan, dipakai di video ini untuk melatih autoencoder menghasilkan detail realistis. |
| patches | Potongan kecil dari sebuah gambar yang dinilai satu per satu oleh critic agar detail lokal seperti tekstur kulit tampak meyakinkan. |
| resolution | Jumlah piksel dalam sebuah gambar, yang menentukan besar biaya pelatihan dan penggunaan model difusi sehingga stable diffusion menurunkannya dulu sebelum bekerja. |
| real image | Gambar asli dari internet yang menjadi target pelatihan, yaitu tujuan yang harus didekati model saat menghapus noise dari masukan. |
| noise levels | Takaran derau yang berbeda-beda yang ditambahkan saat pelatihan, sehingga model belajar dari contoh mudah sampai sulit dan bisa menangani tahap apa pun saat dipakai. |
| pure noise | Masukan yang seluruhnya acak tanpa sisa gambar sama sekali, yang menjadi titik awal ketika model diminta membuat gambar baru dari nol. |
| data | Kumpulan informasi seperti gambar dan teks dari internet yang menurut pembicara menjadi fondasi terbesar AI modern dan lebih sulit ditiru daripada modelnya. |
| text prompt | Kalimat perintah dari pengguna yang menjelaskan gambar yang diinginkan dan dipakai untuk mengarahkan proses penghapusan noise agar hasilnya sesuai deskripsi. |
Video kuliah keempat MIT 6.S087 dari Rickard Brüel Gabrielsson ini membahas dua hal: pentingnya data dan cara kerja stable diffusion, model yang mengubah teks menjadi gambar. Pembicara berpendapat bahwa data sering terlupakan padahal menjadi bagian terbesar dari gunung es AI, karena internet yang dibangun miliaran orang selama sekitar 20 tahun adalah upaya pengumpulan data terbesar dalam sejarah manusia dan lebih berharga daripada teknologi ChatGPT itu sendiri. Setelah itu ia menjelaskan apa yang dibutuhkan model gambar yang baik, yaitu gambar yang tampak nyata, kesesuaian tinggi antara teks dan gambar, variasi hasil untuk satu konsep, serta pelatihan dan penggunaan yang cepat. Pertanyaan utamanya adalah bagaimana jaringan saraf yang deterministik bisa menghasilkan gambar yang beragam dan realistis. Materi ini penting karena menunjukkan bagaimana berbagai konsep self-supervised learning yang dibahas di kelas dirangkai menjadi satu sistem generatif nyata.
Kuncinya adalah memberi randomness sebagai masukan, lalu membiarkan model menghapus noise sedikit demi sedikit, mirip pelukis yang mulai dari sketsa kasar lalu menambah detail. Data latih dibuat murah dengan mengambil gambar dari internet, menambahkan noise pada berbagai tingkat, termasuk pure noise, lalu melatih model menebak langkah menuju gambar asli dengan bantuan text prompt yang diolah model bahasa terlatih. Karena difusi pada piksel beresolusi tinggi seperti 1024 kali 1024 sangat mahal, stable diffusion memakai autoencoder: encoder mengecilkan gambar, difusi berjalan di ruang kecil itu, dan decoder memperbesarnya sekali di akhir. Untuk melatih autoencoder, perbandingan piksel langsung dinilai buruk karena pergeseran kecil sudah tampak sangat berbeda, sehingga dipakai critic gaya GAN yang menilai patches kecil untuk detail, ditambah jarak pada ruang fitur dari contrastive learning yang mirip penilaian manusia untuk kemiripan global. Pembicara menutup dengan pesan bahwa kreativitas jaringan berasal dari noise dan bahwa data adalah kunci dari teori ke praktik.
Kata kunci
- stable diffusion
- pure noise
- randomness
- critic
- Mengikuti kuliah keempat yang menyinggung pengelolaan data sebagai komponen kunci AI baru, lalu membahas stable diffusion untuk pembuatan gambar dari teks.
- Memahami cara kerjanya: mulai dari noise murni dan prompt teks lalu mengambil langkah menuju gambar nyata, dengan unsur acak (randomness), encoder, patches, dan beragam tingkat noise.
- Menjelaskan pelatihan dengan critic yang menilai gambar asli versus buatan, serta peningkatan resolusi.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.