| Istilah | Arti |
|---|---|
| NVFP4 | Format angka ringkas dari NVIDIA yang membulatkan sebagian perhitungan agar model berjalan jauh lebih cepat, hingga 7 kali dibanding model terbuka setara. |
| BF16 | Format angka yang lebih presisi, dipakai sebagai versi pembanding Nemotron 3 Super yang akurasinya mirip tetapi jauh lebih lambat dari NVFP4. |
| multi-token prediction | Teknik menebak beberapa token berikutnya sekaligus, di video ini 7 token, lalu memeriksanya dalam sekali jalan agar jawaban keluar lebih cepat. |
| tokens | Potongan kecil teks, kira-kira setara kata, yang menjadi satuan data latih dan satuan jawaban yang ditulis model AI. |
| dataset | Kumpulan data yang dipakai untuk melatih model, yang pada Nemotron 3 Super ikut dibuka untuk umum, hal yang jarang terjadi. |
| proprietary | Bersifat tertutup dan dimiliki perusahaan, sehingga pengguna harus berlangganan dan tidak tahu cara kerja maupun data latih modelnya. |
| accuracy | Tingkat ketepatan jawaban model, yang menurut video tidak turun berarti meski NVFP4 membulatkan banyak angka perhitungan. |
| noise | Gangguan acak yang sengaja ditambahkan dengan rata-rata nol dalam stochastic rounding agar kesalahan pembulatan saling meniadakan. |
| rounding | Pembulatan angka dengan membuang beberapa digit akhir agar perhitungan lebih ringan, yang berisiko menumpuk kesalahan bila tidak ditangani. |
| speed up | Percepatan kerja model, yang di video dicapai lewat NVFP4, multi-token prediction, dan lapisan mamba. |
| AI assistant | Program AI yang menjawab pertanyaan dan membantu tugas pengguna, dalam hal ini Nemotron 3 Super yang gratis dan terbuka. |
| 51-page research paper | Makalah riset setebal 51 halaman dari NVIDIA yang menjelaskan seluruh langkah pembuatan Nemotron 3 Super beserta dataset-nya. |
Video Two Minute Papers ini membahas Nemotron 3 Super, AI assistant terbuka dari NVIDIA yang menurut Dr. Károly Zsolnai-Fehér membongkar semua rahasia pembuatannya. Kebanyakan sistem AI bersifat proprietary: kita harus berlangganan, dan tidak ada yang tahu cara kerjanya atau data latihnya. Nemotron 3 Super berbeda karena modelnya gratis, dan NVIDIA juga merilis 51-page research paper yang menjelaskan setiap langkah pembuatannya serta dataset yang dipakai. Model ini dilatih dengan 25 triliun tokens dan memiliki 120 miliar parameter, dengan kemampuan yang kira-kira setara model tertutup terbaik sekitar satu setengah tahun sebelumnya, padahal model tertutup itu menghabiskan miliaran dolar dan dirahasiakan. Dalam sebagian besar tes, model ini sejajar dengan model terbuka terbaik meski masih tertinggal di beberapa area. Video ini penting karena menunjukkan bahwa AI yang pintar, cepat, dan terbuka kini bisa dimiliki semua orang, bukan hanya perusahaan besar.
Kejutan utamanya ada pada dua versi model, BF16 dan NVFP4, yang accuracy-nya kurang lebih sama, tetapi NVFP4 sekitar 3,5 kali lebih cepat dan hingga 7 kali lebih cepat dibanding model terbuka yang setara. Károly menjelaskan empat rahasianya. Pertama, NVFP4 memampatkan perhitungan dengan rounding angka, kecuali bagian yang paling sensitif. Kedua, multi-token prediction menebak 7 token sekaligus lalu memverifikasinya dalam sekali jalan. Ketiga, lapisan mamba bekerja seperti membaca buku sekali lalu membuat catatan ringkas, bukan membaca ulang terus. Keempat, stochastic rounding menambahkan noise acak yang rata-ratanya nol agar kesalahan pembulatan tidak menumpuk, diibaratkan langkah kaki menuju mobil yang kadang lebih pendek dan kadang lebih panjang sehingga tetap tiba di tujuan. Kelemahannya, model ini bisa berpikir hampir satu jam untuk soal matematika rumit. Ia menyebut NVIDIA dikabarkan akan berinvestasi puluhan miliar dolar untuk sistem terbuka.
Kata kunci
- NVFP4
- BF16
- multi-token prediction
- dataset
- Membahas asisten AI terbuka dan gratis yang disertai makalah riset 51 halaman beserta dataset pelatihannya.
- Menjelaskan dua versi model (BF16 dan NVFP4) yang akurasinya serupa tetapi NVFP4 sekitar 3,5 kali lebih cepat.
- Menjelaskan multi-token prediction, yaitu menghitung tujuh token sekaligus lalu memverifikasinya, serta trik menambah noise yang rata-ratanya nol.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.