Autoencoder

Video dari kanal Deepia ini menjelaskan cara kerja autoencoder, yaitu jaringan saraf tiruan yang mengubah data rumit menjadi representasi yang lebih sederhana dan bermakna yang disebut latent space. Autoencoder sudah diteliti sejak 15 sampai 20 tahun lalu dan menjadi fondasi banyak teknik deep learning modern, termasuk arsitektur UNet untuk pengolahan gambar dan model generatif seperti DALL-E dan Midjourney. Untuk memudahkan, video memakai analogi menggambarkan seseorang kepada teman hanya dengan dua angka, yaitu umur dan tinggi badan, yang mungkin bukan deskripsi terbaik tetapi sangat ringkas. Topik ini penting bagi pembelajar AI karena memahami autoencoder membantu memahami bagaimana mesin memampatkan informasi, mengelompokkan data, dan menjadi dasar model yang lebih canggih.

Autoencoder terdiri dari encoder yang memampatkan input, bottleneck layer yang menyimpan hasil pampatan, dan decoder yang merekonstruksi data asli. Pelatihan dilakukan dengan memperkecil mean squared error, yaitu rata-rata selisih kuadrat tiap piksel antara gambar asli dan hasil rekonstruksi. Dengan contoh angka tulisan tangan, video menunjukkan bahwa latent space menjadi tertata selama pelatihan sehingga setiap angka membentuk cluster sendiri. Latent dimension yang terlalu kecil, misalnya 2, membuat angka 4 direkonstruksi menjadi 9, sedangkan dimensi 9 menghasilkan rekonstruksi yang benar dan dimensi 5 memberi cluster yang lebih terpisah. Contoh nyata di rumah sakit menunjukkan autoencoder bisa membedakan jenis kelamin pasien dari representasi MRI otak. Kelemahannya, cluster sering kurang tegas, titik di antara dua representasi menghasilkan gambar tidak masuk akal, dan sedikit noise merusak rekonstruksi. Karena itu banyak implementasi modern meregularisasi latent space, misalnya dengan variational autoencoder.