NVIDIA’s Insane AI Found The Math Of Reality

Dalam video Two Minute Papers ini, Károly Zsolnai-Fehér membahas NeRF, teknik AI yang mempelajari sebuah dunia dari kumpulan foto lalu mampu menyintesis gambar di antara foto-foto tersebut sehingga menjadi video yang mulus. Teknik ini berguna untuk melatih self-driving cars di virtual world, membuat film, dan video game. Namun NeRF sebelumnya sering menghasilkan floaters, yaitu gumpalan seperti hantu yang merusak adegan. Károly menjelaskannya dengan analogi rumah yang tampak biru pada hari Senin, merah pada hari Selasa, dan gelap pada hari Rabu, padahal rumahnya sama dan yang berganti hanyalah kacamata hitam si pengamat. Begitu pula kamera yang mengatur exposure dan warna secara otomatis di setiap frame, sehingga algoritma reconstruction 3D mengira objeknya berubah warna. Video ini penting karena memperlihatkan bagaimana teknik baru dari NVIDIA bernama PPISP memecahkan masalah tersebut.

PPISP bekerja seperti detektif yang tidak memandangi rumahnya, melainkan memeriksa kacamata para pembeli. Untuk setiap foto, ia menebak nilai exposure dan white balance, lalu menghapus rona biru dan kegelapan untuk menampilkan warna asli dinding, sambil menjaga agar warna tidak berkedip dari frame ke frame. Alat matematisnya adalah color correction matrix, grid 3x3 yang diibaratkan resep kacamata kamera. Ia mengupas gambar dalam empat lapis: exposure offset atau tingkat terang adegan, white balance, efek vignetting saat tepi gambar lebih gelap akibat lensa, dan kurva respons kamera yang tidak linear. Controller yang dibangun untuk sudut pandang baru bekerja hampir seperti sistem auto exposure pada kamera ponsel. Károly juga menarik pelajaran hidup: pisahkan fakta dari perasaan dan kenali bias diri sendiri. Karya tim NVIDIA ini dibagikan gratis. Keterbatasannya, metode ini mengabaikan efek yang bervariasi per area seperti local tone mapping, misalnya ponsel yang hanya mencerahkan wajah atau menggelapkan jendela, sehingga aturan globalnya bisa keliru.