| Istilah | Arti |
|---|---|
| auto research | Pola eksperimen otomatis dari Karpathy, tempat agen AI mengubah sesuatu, mengujinya, lalu menyimpan atau membuang hasilnya terus-menerus. |
| Karpathy | Andrej Karpathy, peneliti AI yang merilis repo auto research open source dan menjadi contoh utama pola yang dibahas video ini. |
| baseline | Versi awal sebuah email yang dijadikan pembanding, ditandai huruf B di video ini, dan menjadi titik mulai setiap eksperimen. |
| challenger | Varian baru hasil modifikasi agen yang diuji berdampingan dengan baseline, ditandai huruf C di video ini. |
| reply rate | Persentase penerima email yang membalas, dipakai sebagai metrik utama untuk menilai varian mana yang lebih baik. |
| cold email | Email yang dikirim kepada orang yang belum pernah dikenal, dengan harapan mereka tertarik pada penawaran pengirim. |
| Instantly API | Antarmuka pemrograman dari platform cold email Instantly, yang dipakai agen untuk membaca metrik dan mengelola kampanye. |
| orchestrator | Agen utama yang mengatur agen-agen lain dan alat bantu, diibaratkan seperti konduktor yang memimpin sebuah orkestra. |
| GitHub Actions | Layanan GitHub untuk menjalankan skrip di cloud secara terjadwal, dipakai di video ini agar siklus eksperimen berjalan otomatis. |
| metric | Angka objektif yang dilacak untuk menilai hasil, misalnya reply rate pada cold email atau validation loss pada model Karpathy. |
| loop | Siklus berulang berisi hipotesis, eksperimen, pengukuran, dan pemilihan pemenang yang terus diulang tanpa campur tangan manusia. |
| repo | Repositori, yaitu kumpulan kode dan berkas proyek yang disimpan dan bisa dikloning, misalnya repo auto research di GitHub. |
Video ini membahas pola auto research dari Andrej Karpathy yang dipadukan dengan Claude Code, sehingga sebuah agen AI bisa menguji sendiri versi kerjanya secara otomatis. Karpathy merilis repo open source yang membiarkan AI mengubah kode pelatihan model, melatihnya sekitar lima menit, lalu menyimpan atau membuang hasilnya dan mengulang prosesnya. Nick Saraev menerapkan ide ini untuk bisnisnya sendiri, bukan untuk machine learning. Pertanyaan utamanya adalah bagaimana jika eksperimen yang biasanya memakan waktu manusia dibiarkan berjalan sendiri. Ini penting bagi pemilik bisnis dan pemasar, karena eksperimen yang terus berulang bisa memperbaiki hasil tanpa harus diawasi terus.
Contoh utamanya adalah cold email, dengan reply rate sebagai metrik dan teks email sebagai bagian yang diubah. Agen membuat challenger, yaitu varian baru, lalu menjalankannya berdampingan dengan baseline, yaitu versi lama, lewat API Instantly. Setelah itu agen mengumpulkan hasil, memilih pemenang, dan mencatat pelajarannya di file Markdown agar putaran berikutnya lebih baik. Siklus ini dijalankan lewat GitHub Actions setiap empat jam, sedangkan contoh demo di video berjalan setiap jam dan mengirim kabar lewat Slack. Kebanyakan challenger awalnya kalah dari baseline, tetapi lama-kelamaan ada yang menang dan menjadi baseline baru. Video juga menyebut contoh lain seperti landing page, iklan, dan deskripsi produk, dengan syarat metrik objektif, umpan balik yang cepat, dan akses API untuk mengubah inputnya.
Kata kunci
- auto research
- baseline
- challenger
- reply rate
- Menjelaskan proyek open source auto research dari Andrej Karpathy yang memungkinkan model melatih model, dengan agen AI bereksperimen otomatis semalaman: mengubah kode, menguji, dan mengulang.
- Menerapkannya pada cold email: pengoptimal email dengan baseline versus challenger, metrik reply rate, Instantly API, orchestrator, dan GitHub Actions.
- Menunjukkan cara meng-clone repo ke folder auto research lewat Claude Code dan menjalankan loop eksperimen tanpa campur tangan.
Tulis catatan pribadimu untuk video ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.