Model multimodal
Bagian 3 · Deep generative model
| Istilah | Arti |
|---|---|
| multimodal | Sifat model AI yang bisa menerima atau menghasilkan lebih dari satu jenis data, misalnya teks, gambar, audio, dan video. |
| modality | Satu jenis data yang diolah model AI, seperti teks, gambar, audio, LIDAR, atau citra termal. |
| modalities | Bentuk jamak dari modality, yaitu beberapa jenis data berbeda yang dapat diolah bersama oleh satu model multimodal. |
| tokenize | Memecah data seperti teks menjadi potongan kecil bernama token lalu mengubahnya menjadi angka agar bisa diproses model. |
| large language model | Model AI besar yang awalnya hanya memproses teks, dijadikan titik awal video sebelum menjelaskan model multimodal. |
| vision encoder | Model terpisah, misalnya berbasis CLIP, yang mengubah gambar menjadi fitur angka untuk diteruskan ke model bahasa. |
| feature-level fusion | Pendekatan lama yang menggabungkan model bahasa dengan vision encoder terpisah, lebih murah tetapi berisiko kehilangan detail gambar. |
| shared vector space | Satu ruang angka bersama tempat semua jenis data ditaruh, sehingga gambar kucing berada dekat dengan kata kucing. |
| embedded | Keadaan data yang sudah diubah menjadi titik atau vektor angka di dalam ruang vektor agar maknanya bisa dibandingkan model. |
| temporal | Berkaitan dengan dimensi waktu atau urutan kejadian, penting untuk memahami gerakan dalam video. |
| spatiotemporal | Mencakup ruang dan waktu sekaligus, seperti potongan video berbentuk kubus 3D yang memuat beberapa frame. |
| patches | Potongan kecil gambar, misalnya 16 kali 16 piksel, yang masing-masing diubah menjadi token sendiri oleh model multimodal. |
Video ini menjelaskan apa itu AI multimodal dan bagaimana cara kerjanya berubah dari waktu ke waktu. Modality berarti jenis data, misalnya teks, gambar, audio, LIDAR, atau citra termal. Large language model biasa hanya menerima dan menghasilkan teks, sedangkan model multimodal mampu menerima atau menghasilkan beberapa jenis data sekaligus, misalnya prompt berisi teks dan tangkapan layar masalah di ponsel. Pembicara membandingkan dua pendekatan utama, yaitu feature-level fusion yang lebih lama dan native multimodality yang kini menjadi standar terbaik. Pemahaman ini penting karena menjelaskan mengapa model terbaru lebih mampu memperhatikan detail kecil dalam gambar, memahami gerakan dalam video, dan menghasilkan keluaran dalam berbagai bentuk.
Pada feature-level fusion, vision encoder terpisah, misalnya berbasis CLIP, mengekstrak fitur gambar menjadi angka lalu menyerahkannya ke LLM. Kelemahannya, informasi bisa hilang karena LLM hanya melihat ringkasan, bukan sinyal asli, meski pendekatan ini masih dipakai untuk tugas enterprise karena lebih murah dan komponennya mudah diganti. Native multimodality memasukkan semua modality ke dalam shared vector space: teks ditokenisasi, gambar dipotong menjadi patches yang masing-masing embedded, sehingga gambar kucing berada dekat dengan kata kucing. Model bisa memperhatikan teks dan gambar bersamaan, misalnya ikon kecil di pojok tangkapan layar. Untuk video, model baru memakai spatiotemporal patches berbentuk kubus 3D yang mencakup beberapa frame, sehingga gerakan seperti meletakkan atau mengambil botol tertangkap dalam token. Terakhir, model ini mendukung any-to-any generation, misalnya menjelaskan cara memakai dasi lewat teks dan klip video.
Kata kunci
- multimodal AI
- modalities
- vision encoder
- vector space
- Menjelaskan arti modality dan perbedaan model satu modalitas dengan model multimodal.
- Membedakan pendekatan lama (modular feature-level fusion dengan vision encoder) dan model native yang berbagi satu vector space.
- Memahami cara teks, gambar, audio, dan video di-tokenisasi bersama, termasuk video dengan dimensi waktu.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.