What is a Vector Database? Powering Semantic Search & AI Applications
| Istilah | Arti |
|---|---|
| vector database | Basis data yang menyimpan dan mencari data berdasarkan kemiripan makna lewat vektor, bukan hanya kecocokan kata atau tag. |
| relational database | Basis data tradisional yang menyimpan data dalam tabel dengan kolom tetap, seperti metadata foto yang dibahas di awal video ini. |
| semantic gap | Kesenjangan antara cara komputer menyimpan data dalam bentuk terstruktur dan cara manusia memahami makna di baliknya. |
| vector embeddings | Deretan angka yang mewakili makna sebuah data, sehingga data yang mirip akan berada berdekatan dalam ruang vektor. |
| unstructured data | Data yang tidak punya format tabel tetap, seperti gambar, teks bebas, dan audio, yang di video ini harus diubah menjadi vektor. |
| embedding models | Model AI yang sudah dilatih dengan data besar untuk mengubah gambar, teks, atau audio menjadi vector embeddings. |
| high dimensional vectors | Vektor dengan ratusan hingga ribuan dimensi yang menangkap ciri penting dari sebuah input, dihasilkan dari lapisan terdalam model. |
| dimensions | Setiap posisi angka dalam vektor yang mewakili satu ciri yang dipelajari model, seperti ketinggian atau warna hangat. |
| HNSW | Hierarchical Navigable Small World, metode indeks yang membangun graf berlapis untuk mencari vektor yang mirip dengan cepat. |
| IVF | Inverted File Index, metode indeks yang membagi ruang vektor menjadi klaster dan hanya mencari klaster yang paling relevan. |
| similarity | Ukuran seberapa dekat dua vektor, yang dipakai database untuk menemukan item yang maknanya mirip dengan kueri. |
| RAG | Retrieval augmented generation, teknik yang mengambil potongan dokumen relevan dari vector database lalu memberikannya ke LLM untuk menjawab. |
Video dari IBM Technology ini menjelaskan apa itu vector database, yaitu basis data yang menyimpan data tidak terstruktur seperti gambar, teks, dan audio dalam bentuk vektor agar bisa dicari berdasarkan makna. Pembicara memulai dengan contoh foto matahari terbenam di pegunungan. Database relasional biasa hanya bisa menyimpan file, metadata seperti format dan tanggal, serta tag manual seperti sunset atau landscape, sehingga konsep visual seperti kemiripan palet warna sulit dicari. Kesenjangan antara cara komputer menyimpan data dan cara manusia memahaminya disebut semantic gap. Vector database menjembatani masalah ini karena makna data diubah menjadi vector embeddings, yaitu deretan angka, sehingga item yang mirip ditempatkan berdekatan dalam ruang vektor. Video ini penting bagi siapa pun yang ingin memahami dasar pencarian semantik dan RAG.
Pembicara memberi contoh sederhana berdimensi tiga. Vektor gunung memiliki nilai 0,91 untuk perubahan ketinggian, 0,15 untuk elemen kota, dan 0,83 untuk warna hangat, sedangkan foto pantai berbeda di dimensi pertama tetapi serupa di dimensi ketiga, yaitu 0,89. Dalam sistem nyata, embedding biasanya memiliki ratusan hingga ribuan dimensi, dan dibuat oleh embedding model seperti CLIP untuk gambar, GloVe untuk teks, dan Wav2Vec untuk audio. Karena jutaan vektor terlalu lambat jika dibandingkan satu per satu, sistem memakai vector indexing berbasis approximate nearest neighbor, misalnya HNSW yang membangun graf berlapis dan IVF yang membagi ruang menjadi klaster. Teknik ini menukar sedikit akurasi dengan kecepatan pencarian yang jauh lebih baik. Terakhir, vector database menjadi inti RAG, yaitu ketika potongan dokumen dicari berdasarkan kemiripan vektor lalu diberikan ke large language model untuk menjawab pertanyaan.
Kata kunci
- vector database
- vector embeddings
- semantic gap
- unstructured data
- Menjelaskan perbedaan database relasional dan vector database serta masalah semantic gap.
- Memahami vector embeddings dan model embedding yang menangkap ciri data tak terstruktur seperti gambar dan teks.
- Mengenali pencarian kemiripan dengan indeks HNSW dan IVF serta penggunaannya dalam RAG.
Tulis catatan pribadimu untuk modul ini. Catatan tersimpan di akunmu dan bisa dibuka dari perangkat mana pun.