New DeepSeek Research - The Future Is Here!

Dalam video Two Minute Papers ini, Dr. Károly Zsolnai-Fehér membahas makalah terbaru DeepSeek yang menurutnya untuk pertama kali membuka resep lengkap membuat kecerdasan setara ChatGPT secara terbuka dan gratis. Makalah yang setahun lalu hanya 20 halaman kini diperluas menjadi 80 halaman berisi detail yang sangat berharga, sehingga ia menyebutnya bisa menjadi standar emas rilis open source. Ia membandingkannya dengan OpenAI yang merahasiakan arsitektur, data, dan metode pelatihan, bahkan menulis sendiri dalam makalah GPT-4 bahwa detail itu tidak dibagikan karena persaingan. Menurut Károly, ilmu pengetahuan seharusnya terbuka dan bisa direproduksi demi kebaikan umat manusia. Video ini merangkum lima temuan dari makalah tersebut yang paling mengejutkannya, lalu menariknya menjadi pelajaran yang juga bisa dipakai manusia untuk berpikir lebih baik. Ia juga menyebut biasa menyewa GPU di Lambda, yang tautannya ada di deskripsi, untuk menjalankan DeepSeek.

Pertama, DeepSeek tidak memakai PPO yang butuh model guru sebesar model murid untuk menilai setiap kalimat. Dengan GRPO, murid menulis 16 jawaban untuk satu soal lalu jawaban dinilai satu sama lain, sehingga murah dan bisa dijalankan dalam skala besar. Kedua, model belajar sendiri untuk berhenti sejenak dan menulis kata seperti "wait", lalu berpikir makin lama karena itu menaikkan skor. Ketiga, dengan reinforcement learning murni tanpa contoh manusia, kemampuan soal matematika kompetisi naik dari sekitar 15 persen ke hampir 80 persen. Keempat, memberi sedikit contoh di awal mencegah model meracau atau berganti bahasa, dan skor AlpacaEval naik lebih dari tiga kali, meski di matematika hanya naik sekitar dua poin. Kelima, distillation: R1 menulis 800.000 contoh cara berpikir untuk mengajari model kecil 7 miliar parameter yang hampir enam kali lebih baik dari GPT-4o pada soal matematika kompetisi. Károly menutup dengan tiga pelajaran untuk manusia dan kritik terhadap kanal yang mengejar kecepatan demi views.