| Istilah | Arti |
|---|---|
| Odyssey | Perusahaan pembuat model dunia Odyssey 3, yang di video ini memamerkan simulasi otak lalat yang terbang di dunia virtual. |
| world model | Model AI yang menghasilkan dunia video yang bisa dijelajahi kamera, bukan sekadar satu gambar atau klip pendek. |
| game engine | Mesin permainan yang mengatur aturan, objek, dan logika game, dan di Matrix Game ia menjalankan dunia sementara AI hanya memoles tampilan. |
| Matrix game | Matrix Game 4.0 dari Skywork, model yang memisahkan mesin game untuk logika dari model video untuk tampilan visual. |
| Fish Audio | Perusahaan pembuat model text-to-speech Drama 3, yang arah emosinya ditulis dalam kurung siku di dalam naskah. |
| Gaussian wrapping | Metode rekonstruksi 3D dari banyak foto memakai gaussian splatting, yang di video ini dijadikan pembanding untuk Telescope. |
| Telescope | Model generatif dari Preferred Networks yang membangun mesh 3D detail dari foto, bertahap dari bentuk kasar ke bagian yang lebih halus. |
| deepfake | Video atau suara palsu buatan AI yang tampak seperti orang sungguhan, dan video ini menyebut risikonya pada OmniHuman. |
| frame | Satu gambar tunggal dalam video, dan di Matrix Game mesin game menggambar kerangka kasar yang kemudian dipoles model video. |
| scene | Adegan atau lokasi tiga dimensi tempat objek dan kamera berada, yang dibangun atau dibuat ulang oleh model dunia. |
| camera | Titik pandang virtual dalam dunia video, yang posisinya dipakai Worldcrafter untuk mengingat tampilan yang pernah terlihat. |
| audio | Suara atau rekaman bunyi, yang di video ini dipakai bersama satu foto untuk membuat video orang yang berbicara atau bernyanyi. |
Video dari kanal Matt Wolfe ini berisi kumpulan riset dan alat AI kecil yang jarang dibahas di berita mingguan yang biasanya berfokus pada perusahaan besar seperti OpenAI, Anthropic, atau Google. Pembicara ingin menunjukkan hal-hal yang terlewat itu dan meminta penonton memberi tahu apakah mereka menyukai gaya video seperti ini. Topiknya meliputi model suara, pembuatan video dari satu foto, model dunia, rekonstruksi 3D, dan animasi karakter. Setiap bagian menjelaskan apa yang baru, cara kerjanya secara sederhana, dan kendalanya. Penonton yang mengikuti perkembangan AI mendapat gambaran tentang seberapa jauh riset ini siap dipakai sehari-hari.
Contoh pertama adalah Fish Audio Drama 3, model text-to-speech yang arah emosinya ditulis dalam kurung siku di naskah, misalnya berbisik atau tertawa kecil, bukan memilih preset. Model ini disebut paling baik dalam pengucapan, tetapi di leaderboard pendengar masih lebih memilih suara lain, dan menjalankannya butuh GPU sekitar 46 GB VRAM. OmniHuman 2.0 dari ByteDance membuat video berbicara dari satu foto dan audio hingga lima menit, dengan harga turun menjadi 7 sen per detik, tetapi resolusinya hanya 720p. Worldcrafter dari Tencent ARC Lab mengingat tampilan lama berdasarkan posisi kamera, sehingga objek tidak hilang saat kamera berpaling. Matrix Game 4.0 memisahkan mesin game untuk aturan dari model video untuk tampilan, dan bobotnya tersedia dengan lisensi Apache 2.0. Telescope dari Preferred Networks membangun mesh 3D dari foto, tetapi butuh banyak foto dan kodenya belum rilis.
Kata kunci
- Odyssey
- world model
- Fish Audio
- Gaussian wrapping
- Menyajikan berita AI mingguan yang luput dari radar lab besar, seperti model dunia dan game dari Odyssey: tiga game (kastil abad pertengahan, Mesir kuno, balap kota) dengan sesi bermain hingga satu setengah menit tanpa potongan.
- Melihat alat yang menghasilkan video dari satu foto plus audio (dengan kekhawatiran deepfake), Fish Audio, dan teknik Gaussian wrapping dibanding Telescope yang jauh lebih detail.
- Mengajak penonton memberi tahu apakah gaya video ini perlu dibuat lagi.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.