Local LLM Beginner Guide: You Can Actually Run AI For Free (No More $20/Month AI Subscription)
| Istilah | Arti |
|---|---|
| local models | Model AI yang diunduh dan dijalankan langsung di perangkat sendiri, sehingga data tidak dikirim ke server penyedia. |
| RAM | Memori kerja komputer, bukan penyimpanan, yang menjadi faktor utama dalam menentukan ukuran model AI yang bisa dijalankan. |
| Gemma | Keluarga model AI ringan dari Google yang direkomendasikan video ini sebagai model pertama karena bisa berjalan di banyak perangkat. |
| Studio | Kata kedua dari LM Studio, yaitu aplikasi gratis yang direkomendasikan video ini untuk menjalankan model AI lokal dengan mudah. |
| Ollama | Alternatif aplikasi untuk menjalankan model AI lokal yang lebih fleksibel tetapi lebih teknis dibandingkan LM Studio. |
| quantization | Teknik memampatkan model AI agar memakai lebih sedikit memori dengan sedikit mengorbankan kualitas, sehingga model besar bisa dijalankan. |
| Qwen | Keluarga model AI dari Tiongkok yang disebut video sebagai pilihan populer, misalnya Qwen 3.6 dengan 28 miliar parameter. |
| offline | Kondisi model tetap berjalan tanpa internet karena seluruh proses terjadi di perangkat sendiri, seperti saat pembicara bekerja di pesawat. |
| latency | Jeda waktu antara mengirim pertanyaan dan menerima jawaban, yang bisa menjadi sangat lambat jika model terlalu besar untuk perangkat. |
| parameter number | Jumlah parameter sebuah model yang dijadikan patokan kasar memori dibutuhkan, yaitu angka parameter ditambah sekitar dua GB. |
| device | Perangkat tempat model AI dijalankan, seperti laptop, komputer, atau ponsel, dan kemampuannya menentukan model apa yang bisa dipakai. |
| iPhone | Ponsel Apple tempat pembicara menjalankan Gemma 4 lewat aplikasi lokal, sebagai bukti model ringan bisa berjalan di perangkat kecil. |
Video ini dibuat Kyle Balmer dari kanal AI with Kyle sebagai panduan pemula untuk menjalankan model AI langsung di perangkat sendiri. Pembicara bertolak dari kekhawatiran bahwa langganan AI seperti 20 dolar per bulan akan makin mahal, sehingga model lokal menjadi alternatif. Ia menyebut empat alasan: privasi karena data tidak dikirim ke server, biaya yang tidak lagi dihitung per pesan, kemampuan tetap bekerja tanpa internet, dan pengalaman belajar. Pembicara juga menegaskan bahwa prosesnya tidak sesulit kelihatannya, karena cukup memasang satu aplikasi dan satu model. Ia mengingatkan keterbatasan utamanya, yaitu memori RAM yang mahal dan jawaban yang bisa sangat lambat jika model terlalu besar. Karena itu, video ini cocok bagi penonton yang ingin mencoba, bukan langsung menggantikan langganan untuk pekerjaan berat seperti coding.
Langkah yang disarankan adalah mengunduh LM Studio, yang dinilai lebih ramah pengguna daripada Ollama, lalu memilih model dari dalam aplikasi. Untuk model pertama, pembicara merekomendasikan Gemma 4 dari Google karena ringan dan berjalan di banyak perangkat, termasuk iPhone. Sebagai aturan kasar, RAM yang dibutuhkan kira-kira sama dengan jumlah parameter model ditambah sekitar 2 GB untuk sistem, sehingga Qwen 3.6 dengan 28 miliar parameter cocok untuk komputer dengan sekitar 30 GB RAM. Pembicara sendiri memakai Mac Mini M4 Pro dengan 24 GB RAM dan hanya bisa menjalankan model yang lebih kecil, misalnya Gemma 3 E4B. Teknik quantization memampatkan model agar hemat memori dengan sedikit mengorbankan kualitas. Di LM Studio, indikator hijau full GPU offload menandakan model cocok dijalankan. Pembicara menutup dengan catatan bahwa untuk penggunaan produksi perlu mesin mahal, yang biayanya harus dibandingkan dengan langganan API.
Kata kunci
- RAM
- Gemma
- quantization
- Ollama
- Menjelaskan cara menjalankan model AI lokal di komputer dan telepon sebagai jawaban atas naiknya biaya langganan, termasuk paket Claude 20 dolar per bulan.
- Membahas faktor penentu: kapasitas RAM, ukuran model, quantization, dan jeda jawaban yang menyiksa pada model yang terlalu besar.
- Menyebut alat dan model seperti LM Studio, Ollama, Gemma, dan Qwen, termasuk menjalankan model secara offline.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.