| Istilah | Arti |
|---|---|
| Gemini 4 Argon | Model AI besar terbaru dari Google yang diuji Theo dalam video ini dan dinilai sering salah saat mengerjakan kode nyata. |
| Muse Wonder | Model AI pesaing yang dijadikan pembanding, dengan versi Wonderful Full yang dinilai Theo cukup baik sedangkan versi standarnya dianggap buruk. |
| Opus 5.5 | Model AI dari Anthropic yang dipakai Theo sebagai pembanding utama dan akhirnya dipakai untuk menutup PR buruk buatan Gemini. |
| 3.1 Pro | Model Gemini generasi sebelumnya yang dirilis Februari dan pernah dipakai Theo membangun tampilan aplikasi videonya bernama Lawn. |
| Anti Gravity | Alat coding berbasis agent milik Google yang diintegrasikan ke T3 Code dan menurut Theo menjadi sumber banyak bug serta koneksi yang gagal. |
| per mil | Singkatan cara menyebut harga model per satu juta token, misalnya dua dolar untuk input dan sepuluh dolar untuk output pada harga perkenalan Gemini. |
| front end | Bagian aplikasi atau situs yang dilihat dan dipakai langsung oleh pengguna, bidang yang menurut Theo masih menjadi kekuatan model Gemini. |
| evals | Rangkaian uji untuk mengukur seberapa baik model menyelesaikan tugas tertentu, yang menurut Theo hasilnya hanya bermakna bila mirip dengan pekerjaan kita sendiri. |
| price | Biaya pemakaian model yang dihitung per token, yang pada Gemini tampak murah tetapi menjadi mahal karena boros token dan akan naik dua kali lipat. |
| capabilities | Kemampuan khas sebuah model, misalnya akses Gemini ke data dan transkrip YouTube yang menurut Theo masih berguna bagi pembuat konten. |
| Soul | Nama seri model GPT dari OpenAI, terutama GPT 6,1 Soul yang meraih skor terbaik saat mengaudit kode dengan nol klaim salah. |
| Astra | Nama model OpenAI lain yang dijadikan pembanding, cepat dan tanpa klaim salah dalam audit kode meski menurut Theo agak mahal. |
Dalam video ini, Theo dari kanal t3.gg menguji Gemini 4 Argan, model besar pertama dari Google setelah delapan bulan sejak Gemini 3.1 Pro, dan membandingkannya dengan Opus 5.5, GPT 6.1 Soul, 6 Astra, serta Muse Wonder. Pertanyaan utamanya sederhana: apakah model ini benar-benar sekelas model frontier untuk pekerjaan coding sehari-hari, seperti klaim Google dan sejumlah benchmark? Theo mendapat akses awal dari kenalan di Google, tetapi tetap menyampaikan penilaian yang sangat keras. Ia membahas harga, kemampuan front end, kemampuan unik Google, game 3D, tingkat halusinasi, dan hasil nyata di repositori miliknya. Video ini penting bagi penonton yang memilih model untuk proyek nyata, karena memperlihatkan bahwa harga per token yang tampak murah, skor benchmark yang tinggi, dan klaim sukses 100 persen di evals pabrikan belum tentu mencerminkan kualitas kerja di kode sungguhan. Kesimpulan Theo tegas: ia menyebut ini salah satu rilis terburuk tahun ini.
Harga perkenalannya 2 dolar per juta token input dan 10 dolar output, lalu naik menjadi 4 dan 20 dolar mulai 1 Desember, sementara model ini boros token dan cache hit-nya hanya 70 sampai 80 persen. Ada sisi positif: Gemini meraih skor sempurna di Skatebench, benchmark menebak nama trik skateboard, tampilan front end cukup bagus dengan design skill dari Anthropic, dan aksesnya ke data YouTube berguna bagi kreator. Namun dalam game 3D Fishslop, ikan tidak bisa memakan makanan di dasar akuarium dan ada power up yang tidak berguna. Artificial Analysis mencatat tingkat halusinasi hanya 15 persen, tetapi uji Theo berkata lain: saat mengaudit proyek TS Rust, 24 dari 36 klaimnya salah dengan skor 4,38, audit Lakebed mendapat 2,25 dari 10 dengan 56 dari 78 temuan keliru, dan audit arsitektur T3 Code menghasilkan 47 klaim salah. PR perbaikan SQLite buatannya mencapai 1.200 baris, gagal CI, lalu ditutup lewat Opus, padahal solusi yang benar hanya 21 baris. Theo juga mengeluhkan integrasi Anti Gravity yang sering gagal dan risiko akun Google diblokir, sehingga ia hanya akan memakai Gemini untuk mengambil data YouTube.
Kata kunci
- Gemini 4 Argon
- Muse Wonder
- Opus 5.5
- front end
- Mengulas Gemini 4 Argon yang datang delapan bulan setelah 3.1 Pro, dengan jeda rilis jauh lebih lama dibanding GPT 5.6 Soul ke 6 Astra (1 sampai 2 bulan).
- Menguji harga per juta token, kemampuan front end, kemampuan 3D, dan eval yang menurut pembicara tidak selalu mewakili pekerjaan nyata.
- Menemukan bahwa Argon menghasilkan lebih banyak temuan salah daripada temuan benar Muse Wonder dalam tes tertentu, sehingga ia kembali ke Opus 5.5.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.