Tonton di YouTube Pemilik video ini tidak mengizinkan video diputar di situs lain.Stanford CS25: Transformers United V6 I From Language Models to Native Multimodal Intelligence
| Istilah | Arti |
|---|---|
| multimodal | Kemampuan model AI untuk memproses lebih dari satu jenis data sekaligus, seperti teks, gambar, audio, dan video, yang menjadi topik utama ceramah ini. |
| Chameleon | Keluarga model yang mengubah gambar menjadi token diskrit lalu melatihnya bersama teks dalam satu urutan, dibahas di video ini sebagai pendekatan pertama. |
| Transfusion | Arsitektur yang menggabungkan prediksi token teks secara autoregresif dengan difusi untuk gambar, dibahas di video ini sebagai cara yang lebih efisien dibanding token diskrit. |
| modalities | Jenis informasi yang berbeda, misalnya teks, gambar, audio, dan video, yang harus bisa diproses model dalam satu sistem yang sama. |
| image generation | Kemampuan model untuk membuat gambar baru dari instruksi, yang menjadi salah satu ukuran utama kualitas Chameleon, Transfusion, dan Mixture of Transformers. |
| VAE | Variational autoencoder, yaitu model yang memampatkan gambar menjadi representasi laten, dan di video ini dinilai efisien untuk membuat gambar tetapi kurang cocok untuk memahaminya. |
| token prediction | Cara model bahasa belajar dengan memperkirakan token berikutnya dari urutan sebelumnya, yang dijelaskan sebagai dasar LLM dan perluasannya ke gambar. |
| mixture | Dalam video ini merujuk pada Mixture of Transformers, yaitu pembagian parameter model per modalitas sehingga teks dan gambar memakai bagian jaringan yang berbeda. |
| unify | Menyatukan berbagai modalitas dan tugas, seperti memahami dan menghasilkan gambar, dalam satu model atau representasi yang sama. |
| pixel | Titik kecil penyusun gambar, yang di video ini dibahas sebagai satuan yang bisa diproses model langsung dan sebagai ide merender teks menjadi gambar. |
| understanding | Kemampuan model memahami isi input seperti gambar, misalnya menjawab pertanyaan tentang foto atau infografik, yang dibahas sebagai tantangan terpisah dari generasi. |
| Thinking Machines Lab | Laboratorium AI tempat pembicara bekerja sebagai technical staff yang berfokus pada native multimodal intelligence, sesuai perkenalan di awal video. |
Video ini berisi ceramah tamu Victoria Lin dari Thinking Machines Lab dalam kursus Stanford CS25 Transformers United. Ia membahas native multimodal language model, yaitu model bahasa yang memproses teks, gambar, audio, dan video dalam satu arsitektur, bukan sekadar menambahkan modul gambar di luar model. Pertanyaan utamanya: apakah model bahasa besar yang berhasil dengan prediksi token berikutnya juga cukup untuk dunia yang penuh informasi visual dan suara? Pembicara berargumen bahwa itu belum cukup, karena dunia digital maupun fisik dipenuhi berbagai modalitas. Bagi penonton, ini menunjukkan arah pengembangan AI saat ini, yaitu model yang bisa memahami dan menghasilkan lebih dari sekadar teks.
Isi konkretnya berupa tiga pendekatan. Pertama, Chameleon mengubah gambar menjadi token diskrit dengan VQ-VAE setelah dipecah menjadi patch, lalu melatih teks dan gambar sebagai satu urutan. Hasilnya bisa menghasilkan dokumen campuran, tetapi pemahaman gambarnya tertinggal dan pembuatan gambar membutuhkan banyak token. Kedua, Transfusion menggabungkan prediksi token teks dengan difusi untuk gambar yang direpresentasikan secara kontinu, sehingga kualitas gambar lebih baik dengan anggaran token yang lebih kecil. Ketiga, Mixture of Transformers memberi parameter terpisah untuk tiap modalitas dengan routing deterministik berdasarkan jenis token. Pada skala hingga 7 miliar parameter, metode ini meningkatkan generasi gambar tanpa merusak performa teks. Pembicara juga menyebut dilema bahwa pembuatan dan pemahaman gambar masih memakai encoding yang berbeda, lalu menutup dengan tantangan dunia fisik seperti robotika dan pemahaman spasial.
Kata kunci
- multimodal
- Chameleon
- Transfusion
- modalities
- Mengikuti kuliah CS25 oleh Victoria Lin (Thinking Machines Lab) tentang native multimodal intelligence.
- Membahas Chameleon (melatih teks dan gambar yang disisipkan bergantian dari awal) beserta keterbatasannya, Transfusion, dan upaya menyatukan image generation dan understanding.
- Menimbang VAE sebagai bottleneck, prediksi tingkat piksel, dan ide merender teks sebagai gambar untuk menyatukan modalitas.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.