Development of a Metadata-Related Benchmark Based on Large Language Models (LLMs) for the Retrieval-Augmented Generation (RAG) Module of Pneuma: A Data Discovery System = Pengembangan Tolok Ukur Terkait Metadata Berbasiskan Large Language Model (LLM) untuk Modul Retrieval-Augmented Generation (RAG) pada Pneuma: Sistem Pencarian Data

Muhammad Imam Luthfi Balaka, author

Development of a Metadata-Related Benchmark Based on Large Language Models (LLMs) for the Retrieval-Augmented Generation (RAG) Module of Pneuma: A Data Discovery System = Pengembangan Tolok Ukur Terkait Metadata Berbasiskan Large Language Model (LLM) untuk Modul Retrieval-Augmented Generation (RAG) pada Pneuma: Sistem Pencarian Data

Muhammad Imam Luthfi Balaka; Adila Alfa Krisnadhi, supervisor; Alfan Farizki Wicaksono, examiner; Laksmita Rahadianti, examiner (Fakultas Ilmu Komputer Universitas Indonesia, 2025)

Abstrak

Pneuma is a data discovery system developed to address the limitations of current dataset retrieval methods. It leverages Retrieval-Augmented Generation (RAG) to store and retrieve metadata and dataset summaries. Metadata provides basic dataset information, while summaries include column names and row values. To optimize RAG components, an appropriate benchmark is needed. This work introduces a metadata-based benchmark consisting of triples (T, Q, A), where T is a dataset, Q is a metadata-related question, and A is the corresponding answer based on T. The datasets and questions come from existing sources, while answers are generated and evaluated using two Large Language Models (LLMs): LLM Generator and LLM Evaluator. Experiments identify the best model and strategy, yielding the optimal combination of OpenHermes-2.5-Mistral-7B with a role-play prompt and greedy search decoding. This combination is used to tune Pneuma’s RAG module.

Pneuma adalah sistem pencarian data yang dikembangkan untuk mengatasi keterbatasan sistem pencarian dataset saat ini. Sistem ini menggunakan mekanisme Retrieval-Augmented Generation (RAG) untuk menyimpan dan mengambil informasi, termasuk metadata dan ringkasan dataset. Metadata menjelaskan informasi dasar dataset, sedangkan ringkasan dataset mencakup nama kolom dan nilai baris. Untuk memilih dan menyetel komponen RAG, diperlukan tolok ukur yang sesuai. Skripsi ini mengembangkan tolok ukur berbasis metadata dalam bentuk tripel (T, Q, A), dengan T sebagai dataset, Q sebagai pertanyaan metadata, dan A sebagai jawaban berdasarkan T. Dataset dan pertanyaan diperoleh dari sumber yang ada, sementara jawaban dihasilkan dan dievaluasi menggunakan dua Large Language Models (LLM), yaitu LLM Generator dan LLM Evaluator. Eksperimen dilakukan untuk memilih model dan strategi terbaik, menghasilkan kombinasi optimal OpenHermes-2.5-Mistral-7B dengan prompt role-play, serta strategi dekoding greedy search. Kombinasi ini digunakan untuk menyetel modul RAG pada Pneuma.

File Digital: 1

Shelf

S-Muhammad Imam Luthfi Balaka.pdf :: Unduh

LOGIN required

Kata Kunci

benchmark

data discovery problem

Pneuma

Retrieval-Augmented Generation (RAG)

metadata

Large Language Models (LLMs)

GRUEN scores

role-prompting

Metadata

Jenis Koleksi :	UI - Skripsi Membership
No. Panggil :	S-pdf
Entri utama-Nama orang :	Muhammad Imam Luthfi Balaka, author


Entri tambahan-Nama orang :	Adila Alfa Krisnadhi, supervisor Alfan Farizki Wicaksono, examiner Laksmita Rahadianti, examiner
Entri tambahan-Nama badan :	Universitas Indonesia. Fakultas Ilmu Komputer

Program Studi :	Ilmu Komputer
Subjek :	Metadata Information retrieval
Penerbitan :	Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2025

Bahasa :	eng
Sumber Pengatalogan :	LibUI eng rda
Tipe Konten :	text
Tipe Media :	computer
Tipe Carrier :	online resource
Deskripsi Fisik :	xi, 45 pages : illustration + appendix
Naskah Ringkas :
Lembaga Pemilik :	Universitas Indonesia
Lokasi :	Perpustakaan UI

Ketersediaan
Ulasan
Sampul

No. Panggil	No. Barkod	Ketersediaan
S-pdf	14-25-45248966	TERSEDIA

Ulasan:

Tidak ada ulasan pada koleksi ini: 9999920568601