Pada materi ini kita sudah masuk dalam AI Project Lifecycle, berikut rencana materi kita

Table of Content

• Tantangan dalam LLM
• Apa itu RAG?
• Inferencing

Tantangan dalam LLM

1. No SourceLLM sering memberikan jawaban tanpa menyebutkan sumbernya, sehingga sulit untuk memverifikasi keakuratan informasi.
2. Out of DateData yang digunakan untuk melatih LLM bisa menjadi usang karena LLM tidak memiliki mekanisme untuk terus memperbarui informasi dari sumber eksternal.

Apa itu RAG?

Retrieval-Augmented Generation (RAG) adalah teknik yang menggabungkan kemampuan generatif LLM dengan pencarian informasi dari sumber eksternal (retrieval).

Penjelasan Alur RAG:

1. Prompt dari Pengguna:
   • Pengguna memberikan input berupa pertanyaan atau perintah (prompt), misalnya:“Berapa jumlah bulan planet Saturnus?”
2. LLM Mengolah Prompt:
   • LLM menerima pertanyaan tersebut, namun jika jawaban yang diperlukan tidak tersedia dalam data internal model atau membutuhkan informasi terkini, RAG mulai bekerja.
3. Pencarian Informasi (Retrieval):
   • Sistem RAG mencari data tambahan dari sumber eksternal yang relevan, seperti:
     • Internet: Untuk mendapatkan data terbaru.
     • Document Policy: Dokumen internal atau kebijakan yang relevan.
     • Sumber Lainnya (Etc): Database khusus, jurnal, atau repositori pengetahuan lainnya.
4. Integrasi Data:
   • Data yang diperoleh dari pencarian dikirim kembali ke LLM untuk diproses lebih lanjut.
   • LLM menggunakan informasi ini untuk merangkai jawaban yang lebih lengkap dan kontekstual.
5. Jawaban untuk Pengguna:
   • LLM menghasilkan respons berdasarkan kombinasi data internal dan informasi eksternal, yang kemudian disampaikan kepada pengguna.

Contoh Skenario RAG

Skenario: Informasi Kebijakan Privasi

• Pertanyaan: “Apa kebijakan privasi terbaru dari perusahaan X?”
• Langkah RAG:
  1. Pertanyaan diterima oleh LLM.
  2. Sistem mencari dokumen kebijakan privasi terbaru dari situs resmi perusahaan X.
  3. Informasi dari dokumen tersebut dirangkai oleh LLM untuk menghasilkan jawaban, seperti:“Kebijakan privasi terbaru perusahaan X diperbarui pada Januari 2025, mencakup pengelolaan data pengguna secara transparan.”
  4. Respons ini diberikan kepada pengguna beserta sumbernya (jika diperlukan).

RAG dapat menjawab tantangan utama LLM sebagai berikut:

• Mengatasi “No Source”: Dengan retrieval, RAG dapat menyertakan sumber data atau referensi dalam jawabannya.
• Mengatasi “Out of Date”: Karena data diambil dari sumber eksternal yang diperbarui secara berkala, jawaban yang diberikan lebih relevan dengan kondisi saat ini.

Inferencing

Inferencing adalah proses di mana model AI, seperti Large Language Models (LLM), menggunakan kemampuan yang telah dipelajari selama pelatihan untuk menghasilkan respons atau melakukan tugas tertentu berdasarkan input (prompt) yang diberikan. Dalam istilah sederhana, ini adalah cara model mengambil keputusan atau memberikan jawaban berdasarkan “pengetahuan” yang dimilikinya.

Referensi

https://aws.amazon.com/id/what-is/retrieval-augmented-generation/

https://www.youtube.com/watch?v=T-D1OfcDW1M