How Physical AI Learns Across Language, Video and Action — Ming-Yu Liu

Video How Physical AI Learns Across Language, Video and Action dari kanal Machine Learning Street Talk mewawancarai Ming-Yu Liu, peneliti yang memimpin riset NVIDIA, tentang Cosmos 3. Video ini ditandai sebagai kemitraan berbayar dengan NVIDIA. Pembicara menjelaskan bahwa Cosmos menerima masukan berupa teks, video, audio, dan aksi, sehingga model tidak hanya menjelaskan apa yang terjadi di video tetapi juga bisa membuat video simulasi. Gagasan utamanya adalah membangun simulator neural yang bisa dipakai untuk menguji kebijakan robot atau mobil otonom tanpa harus menjalankan ribuan uji di dunia nyata. Liu juga menjelaskan bahwa model dunia adalah kumpulan alat yang dibuat untuk tujuan tertentu, bukan definisi tunggal yang sudah disepakati. Topik ini penting bagi penonton yang ingin memahami arah robotika dan AI fisik.

Bagian teknisnya menjelaskan arsitektur Cosmos yang dimulai dari model bahasa visi autoregresif sebagai menara penalaran, lalu diinisialisasi ulang menjadi generator difusi dua arah yang menghasilkan video, aksi, dan audio. Pelatihannya dibagi dua tahap: pra-latihan untuk dasar, lalu mid-training yang menambahkan aksi. Untuk menyatukan sinyal dengan frekuensi berbeda, tim memakai skema posisi temporal yang menormalkan video, audio, dan aksi ke satu skala waktu. Tiga tugas robotika, yaitu forward dynamics, inverse dynamics, dan policy, dilatih bersama sehingga saling memperkuat dalam batas kapasitas model. Liu menyebut policy verification sebagai penggunaan terdekat, yaitu menguji banyak checkpoint kebijakan di simulator dan hanya memakai urutan hasilnya sebagai penyaring sebelum uji di dunia nyata. Cosmos juga disebut pernah dilatih ulang pada dataset DROID untuk tugas pick and place. Model dirilis terbuka di Hugging Face dan kodenya di GitHub, dengan tiga ukuran: Super, Nano, dan Edge, yang dibuat untuk berjalan di perangkat seperti Jetson Thor, Orin, atau DGX Spark.