Optimizing the Full Stack for Generative Image and Video Models

Video kuliah dari MIT OpenCourseWare ini membahas cara mengoptimalkan seluruh tumpukan teknologi untuk model pembuat gambar dan video. Pembicara, yang bekerja sebagai research engineer di Hugging Face, menjelaskan bahwa diffusion model bekerja dengan mulai dari noise acak lalu membersihkannya secara bertahap hingga menjadi gambar atau video yang realistis, dan prosesnya bisa dikendalikan dengan deskripsi teks. Bagian paling berat dalam komputasi adalah transformer di dalam model tersebut. Pembicara menyebut bahwa model Flux membutuhkan sekitar 34 GB memori dan sekitar 7 detik di GPU H100 untuk satu gambar 1024 kali 1024 tanpa optimasi, sedangkan video lima detik 720p bisa memakan sekitar 30 menit. Angka seperti ini dinilai terlalu lama untuk aplikasi interaktif yang dihadapi pengguna, sehingga optimasi penting bagi pengembang maupun pengguna.

Isi konkretnya mencakup beberapa pendekatan. Pertama, bentuk arsitektur model dan kernel perlu disesuaikan dengan hardware. Contohnya, mengubah jumlah attention head atau dimensi tersembunyi tanpa mengubah total parameter dapat menaikkan throughput. Kedua, pembicara membantah anggapan bahwa model kecil selalu lebih efisien, karena model dengan parameter lebih sedikit bisa punya FLOPs lebih banyak dan throughput lebih rendah. Ketiga, untuk resolusi tinggi seperti 4K, rasio kompresi latent dinaikkan dari 8x menjadi 16x atau 24x, lalu informasi yang hilang dipulihkan dengan cara lain. Model SANA disebut mengurangi latensi generasi 4K hingga 25 kali. Keempat, untuk kebutuhan tertentu model bisa dilatih ulang dengan preference alignment, atau diberi kontrol tambahan seperti pose, segmentasi, dan Canny map. Kelima, inference time scaling mencari noise awal atau prompt yang lebih baik dengan mengukur CLIP score. Terakhir, distillation, termasuk time step distillation, mengurangi jumlah langkah, dan pembicara menyarankan menggabungkannya dengan FlashAttention serta kernel yang baik.