Every Size Local AI In 24 Minutes

Tina Huang mencoba menjalankan model AI secara lokal di berbagai perangkat, dari papan mikrokontroler kecil hingga server GPU kelas atas, untuk menunjukkan apa saja yang bisa dibangun di setiap ukuran. Ia mengelompokkan perangkat menjadi chip, komputer mini, komputer pribadi, home server, dan GPU, lalu memperlihatkan model apa yang muat dan seberapa cepat model itu berjalan. Pertanyaan utamanya adalah mengapa dua perangkat dengan RAM sama besar bisa memberi hasil sangat berbeda. Untuk menjawabnya, Tina memakai analogi dapur restoran: storage sebagai gudang, RAM sebagai meja persiapan, bandwidth sebagai ban berjalan, CPU sebagai kepala koki, GPU sebagai barisan juru masak, dan NPU sebagai mesin khusus. Video ini penting bagi penonton yang ingin memakai AI tanpa layanan cloud dan perlu tahu model sebesar apa yang sanggup dijalankan perangkat mereka.

Arduino Uno R4 dengan RAM 32 kilobyte tidak muat model apa pun, sedangkan ESP32-S3 dengan RAM 8 megabyte bisa menjalankan model Tiny Stories. Raspberry Pi 5 merangkai Whisper, Qwen3 1.7B, dan Piper untuk bercakap-cakap serta Moondream untuk mendeskripsikan gambar, tetapi tidak sanggup melakukan image generation atau music generation karena tidak punya GPU dan bandwidth-nya sempit. iPhone 16 dengan RAM yang sama justru bisa menjalankan Gemma, Stable Diffusion 1.5 lewat Draw Things, Whisper Large, dan YOLO 11n. Tina memberi rumus kasar: kurangi RAM 25 persen lalu bagi 0,6, sehingga MacBook Pro 32 GB muat model sekitar 40 miliar parameter. Mac Studio 64 GB menjalankan model Qwen untuk agent dan untuk Arduino lewat Wi-Fi, AMD Halo 128 GB muat model 70B hingga GPT-OSS 120B tetapi lambat, RTX 4090 cepat tetapi hanya 24 GB, dan 8x H100 menyatukan kapasitas dan bandwidth besar. Sebagian video disponsori Crusoe.