Hasil Pencarian  ::  Simpan CSV :: Kembali

"Pencarian dokumen hukum yang relevan dan efisien merupakan kebutuhan penting bagi praktisi hukum, akademisi, dan masyarakat umum di Indonesia. Penelitian ini memperkenalkan Lexin, sebuah aplikasi web berbasis model Retrieval Augmented Generation (RAG) untuk mengolah sumber hukum di Indonesia. Dengan memanfaatkan teknologi seperti Elasticsearch untuk pencarian teks penuh dengan pengurutan dan penyaringan beserta GPT-4o Mini dari OpenAI sebagai model bahasa besar, aplikasi ini memberikan solusi inovatif untuk meningkatkan akurasi, relevansi, dan efisiensi pencarian dokumen hukum. Pengembangan Lexin mencakup integrasi antarmuka berbasis Next.js untuk frontend, FastAPI untuk backend, dan Elasticsearch sebagai penyimpanan dokumen hukum. Evaluasi dilakukan melalui User Acceptance Testing (UAT), System Usability Scale (SUS), User Experience Questionnaire (UEQ), dan pengujian beban menggunakan Locust. Hasil evaluasi menunjukkan bahwa frontend Lexin berhasil menawarkan antarmuka pengguna yang intuitif dan responsif. Evaluasi UAT menunjukkan tingkat kepuasan pengguna mencapai 93,4%, dengan umpan balik positif terkait kemudahan navigasi dan kecepatan akses fitur. Pengukuran SUS menghasilkan skor 81, yang berada dalam kategori ”Sangat Baik”, mengindikasikan aplikasi mudah dipahami dan digunakan oleh berbagai jenis pengguna. Evaluasi UEQ menunjukkan nilai tinggi pada dimensi efisiensi (1,8) dan atraktivitas (1,7), memperlihatkan desain antarmuka yang ramah pengguna dan fungsional. Di sisi backend, aplikasi menunjukkan performa yang baik dengan kemampuan menangani hingga 304 permintaan dalam 60 detik menggunakan 4 instance backend API, dengan rata-rata waktu respons sebesar 2.418 ms, turun 55% dibandingkan tanpa autoscaling. Kemampuan Elasticsearch dalam pencarian dokumen menunjukkan waktu respons rata-rata sebesar 94 ms pada beban rendah dan 894 ms pada beban tinggi. Secara keseluruhan, aplikasi ini berhasil memberikan solusi yang efisien untuk pencarian dan pengelolaan dokumen hukum, memenuhi kebutuhan pengguna dari berbagai latar belakang. Lexin diharapkan dapat menjadi alat yang bermanfaat dalam meningkatkan aksesibilitas informasi hukum di Indonesia.

---

Efficient and relevant legal document retrieval is a critical need for legal practitioners, academics, and the general public in Indonesia. This research introduces Lexin, a web application based on the Retrieval Augmented Generation (RAG) model to process Indonesian legal resources. By leveraging technologies such as Elasticsearch for full-text search with ranking and filtering capabilities, and OpenAI’s GPT-4o Mini as a large language model, the application provides an innovative solution to enhance the accuracy, relevance, and efficiency of legal document search. The development of Lexin integrates a Next.js-based frontend, FastAPI for the backend, and Elasticsearch as the repository for legal documents. Evaluation methods include User Acceptance Testing (UAT), the System Usability Scale (SUS), the User Experience Questionnaire (UEQ), and load testing using Locust. The evaluation results show that the Lexin frontend successfully offers an intuitive and responsive user interface. UAT evaluation results show a user satisfaction rate of 93.4%, with positive feedback on navigation ease and feature access speed. The SUS measurement yields a score of 81, categorized as ”Excellent,” indicating that the application is easy to understand and use by various types of users. UEQ evaluation demonstrates high scores in the dimensions of efficiency (1.8) and attractiveness (1.7), reflecting a user-friendly and functional interface design. On the backend side, the application shows robust performance, handling up to 304 requests within 60 seconds using 4 backend API instances, with an average response time of 2,418 msa 55% reduction compared to scenarios without autoscaling. Elasticsearch demonstrates an average response time of 94 ms under low load and 894 ms under high load conditions. Overall, this application successfully provides an efficient solution for legal document retrieval and management, addressing the needs of users from various backgrounds. Lexin is expected to serve as a valuable tool for improving the accessibility of legal information in Indonesia."

"Perkembangan teknologi kecerdasan buatan (AI) dalam beberapa tahun terakhir telah menjadi peluang besar di berbagai sektor, termasuk dalam sektor kesehatan. Salah satu implementasi AI yang menunjukkan potensi signifikan adalah Large Language Models (LLM), yang dapat memahami dan menghasilkan teks. Penelitian ini bertujuan untuk mengembangkan sistem asisten medis virtual berbasis AI dengan mengintegrasikan LLM dan teknik Retrieval-Augmented Generation (RAG). Sistem ini dirancang untuk memberikan informasi medis yang relevan, akurat, dan terkini bagi tenaga medis. Metode penelitian melibatkan pengembangan sistem menggunakan LLM, RAG, dan LangChain, yang kemudian diuji untuk memastikan kinerja dan keandalannya. Evaluasi dilakukan dengan metrik berbasis RAG dan ROUGE, mencakup dimensi seperti faithfulness, context precision, answer relevance, dan context recall. Hasil penelitian menunjukkan bahwa integrasi LLM dan RAG mampu meningkatkan akurasi informasi, relevansi jawaban, dan efisiensi sistem dalam skenario klinis. Sistem ini diharapkan dapat menjadi solusi inovatif untuk mendukung pekerjaan tenaga medis, mempercepat pengambilan keputusan, dan meningkatkan kualitas pelayanan kesehatan.

---

The advancement of artificial intelligence (AI) technology in recent years has created significant opportunities across various sectors, including healthcare. One notable implementation of AI with significant potential is Large Language Models (LLM), which can comprehend and generate text. This study aims to develop an AI-based virtual medical assistant system by integrating LLM and Retrieval-Augmented Generation (RAG) techniques. The system is designed to provide relevant, accurate, and up-to-date medical information for healthcare professionals. The research methodology involves the development of the system using LLM, RAG, and LangChain, followed by performance and reliability testing. Evaluation is conducted using RAG- and ROUGE-based metrics, covering dimensions such as faithfulness, context precision, answer relevance, and context recall. The results demonstrate that integrating LLM and RAG enhances information accuracy, answer relevance, and system efficiency in clinical scenarios. This system is expected to be an innovative solution to support healthcare professionals, expedite decision-making, and improve the quality of healthcare services. "

"Penelitian ini bertujuan untuk mengembangkan sistem evaluasi yang menggunakan Generative AI berjenis Large Language Model yang dengan output pertanyaan. Sistem yang digunakan menggunakan metode Retrieval-Augmented Generation agar pertanyaan yang dihasilkan memiliki konteks terhadap pertanyaan yang diperintahkan untuk dibuat menggunakan file dokumen yang disediakan oleh pengguna. Selain itu, diterapkan juga prompt engineering untuk mengoptimalkan output dengan memberikan sebuah set instruksi, peran dan contoh. Implementasi fitur evaluasi diterapkan pada TCExam, sebuah platform ujian dan evaluasi open source yang sering digunakan oleh masyarakat. Penelitian ini berhasil dalam mengembangkan sistem evaluasi dengan metode Large Language Model yang terintegrasi dengan platform MOOC sehingga dapat proses penyusunan soal dan pengerjaan soal dapat dilakukan di satu wadah yang sama. Selain itu, evaluasi yang dilakukan pada penelitian ini adalah perbandingan antara dua model yang dapat digunakan pada sistem evaluasi untuk menghasilkan pertanyaan dan evaluasi sistem yang sudah terintegrasi. Dua model yang diuji pada penelitian ini adalah Mistral-7B dan LLaMa-3 8B dengan hasil evaluasi menunjukkan bahwa Mistral-7B menghasilkan output yang lebih baik. Pada evaluasi sistem, penggunaannya cukup mudah dipahami dengan ruang untuk peningkatan yang dapat diterapkan pada penelitian berikutnya.

---

This study aims to develop an evaluation system using Generative AI, specifically Large Language Model with the target output of questions. This system uses Retrieval Augmented Generation to help give context for the questions generated. Furthermore, prompt engineering is implemented to optimize the output by giving a set of instructions, roles, and examples. In implementing the evaluation feature, TCExam is used. It is an open source assessment platform often used by the public. This study succeeded in developing the evaluation system with Large Language Model integrated into an MOOC platform so that the question generator feature and the student evaluation using AI-generated questions are integrated in the same platform. The evaluation performed in this study compares the models used to generate the question and evaluates the experience of using the developed feature. The two said model Mistral-7B and LLaMa-3 8B, with the result that shows Mistral-7B presents the better output. The developed feature is accessible and easy to understand by its users with more room for improvement for further studies."

"Penelitian ini bertujuan untuk mengembangkan sistem chatbot yang mampu menjawab pertanyaan seputar akademik Teknik Komputer UI. Sistem ini memanfaatkan teknologi Large Language Model (LLM) Komodo-7B yang telah di-fine-tuning dengan teknik Low-Rank Adaptation (LoRA) dan diintegrasikan dengan Retrieval Augmented Generation (RAG). Dataset Ultrachat yang diterjemahkan ke Bahasa Indonesia digunakan untuk fine-tuning model Komodo-7B, sementara dokumen PDF Kurikulum Teknik Komputer UI 2020 v4 digunakan sebagai sumber informasi untuk model RAG.Pengujian performa model Komodo-7B menunjukkan bahwa LoRA efektif dalam meningkatkan kemampuan model dalam memahami dan menghasilkan teks percakapan Bahasa Indonesia. Namun, pengujian performa chatbot menggunakan dua dataset pertanyaan, yaitu dataset custom yang dihasilkan menggunakan Giskard dan API ChatGPT, dan dataset Fathurrahman Irwansa yang telah diadaptasi, menunjukkan bahwa sistem chatbot masih memiliki ruang untuk peningkatan. Tingkat akurasi yang rendah pada kedua dataset (32% pada dataset custom dan 24,1% pada dataset Fathur) mengindikasikan bahwa sistem retrieval yang digunakan kurang akurat dalam menemukan konteks yang relevan. Meskipun demikian, ketika model RAG dapat mengambil konteks yang relevan, model Komodo-7B menunjukkan akurasi yang cukup tinggi (80% pada dataset custom dan 91,29% pada dataset Fathur, dihitung dari jumlah ketika kedua Komodo-7B dan konteks benar, kemudian dibagi dengan jumlah ketika konteks benar).Hasil penelitian menunjukkan bahwa model Komodo-7B memiliki potensi yang baik untuk digunakan pada sistem chatbot jika dikombinasikan dengan sistem retrieval yang lebih akurat. Penelitian ini memberikan kontribusi dalam pengembangan sistem chatbot berbasis LLM untuk menjawab pertanyaan seputar akademik, dan membuka peluang untuk penggunaan yang lebih luas di lingkungan Universitas Indonesia.

---

This research aims to develop a chatbot system capable of answering questions regarding the academic curriculum of Computer Engineering at Universitas Indonesia. The system utilizes the Komodo-7B Large Language Model (LLM), fine-tuned with Low-Rank Adaptation (LoRA) and integrated with Retrieval Augmented Generation (RAG). The Ultrachat dataset, translated into Indonesian, is used for fine-tuning the Komodo-7B model, while the 2020 v4 Computer Engineering Curriculum PDF document serves as the information source for the RAG model. Performance evaluation of the Komodo-7B model demonstrates that LoRA effectively enhances the model's ability to understand and generate Indonesian text. However, chatbot performance testing using two question datasets, a custom dataset generated using Giskard and the ChatGPT API, and the Fathur dataset adapted from prior research, reveals that the chatbot system still has room for improvement. The low accuracy on both datasets (32% on the custom dataset and 24.1% on the Fathur dataset) indicates that the retrieval system employed is not sufficiently accurate in finding relevant context. Nevertheless, when the RAG model successfully identifies relevant context, the Komodo-7B model exhibits relatively high accuracy (80% on the custom dataset and 91.29% on the Fathur dataset, calculated from the total of when Komodo-7B and the context are both correct, then divided by the total of when the context is correct). The research findings suggest that the Komodo-7B model holds significant potential for chatbot systems when combined with a more accurate retrieval system. This study contributes to the development of LLM-based chatbot systems for answering academic-related questions and opens up opportunities for broader applications within Universitas Indonesia."

"Efisiensi akses informasi dari dokumen PDF berbahasa Indonesia menghadirkan tantangan signifikan, terutama dengan keterbatasan LLM proprietary terkait privasi, biaya, dan adaptasi domain. Penelitian ini menyajikan pengembangan dan evaluasi sistem Retrieval-Augmented Generation (RAG) inovatif berbasis open-source Gemma-3-4B-IT, diadaptasi menggunakan Low-Rank Adaptation (LoRA), dan diperkuat dengan strategi Hybrid Search. Melalui empat eksperimen komprehensif pada domain kurikulum akademik, penelitian ini secara sistematis mengevaluasi dampak berbagai komponen terhadap kinerja. Evaluasi dilakukan secara holistik menggunakan Precision@K, metrik kualitas jawaban RAGAS (Faithfulness, Answer Relevance, Accuracy) yang dinilai oleh LLM-as-a-Judge (Gemini 2.5 Flash), serta latensi sistem. Temuan utama mengungkap adanya trade-off fundamental: proses fine-tuning berhasil mempercepat generasi jawaban secara drastis (dari ~3.5 detik menjadi ~0.7 detik, atau ~5x lebih cepat), namun menyebabkan penurunan kualitas jawaban yang signifikan. Metrik Answer Relevance turun dari 93.55% menjadi 59.14%, dan Accuracy turun dari 66.67% menjadi 44.09% pada konfigurasi hybrid. Penurunan ini diatribusikan pada karakteristik dataset fine-tuning yang cenderung ekstraktif. Temuan menarik lainnya adalah interaksi kompleks antara strategi retrieval dan kondisi LLM: untuk LLM base (sebelum fine-tuning), strategi Hybrid Search dengan reranker menghasilkan kualitas jawaban RAGAS tertinggi. Namun, untuk LLM yang telah di-fine-tune, strategi Vector Search only secara mengejutkan memberikan akurasi jawaban terbaik (59.14%), mengungguli strategi hybrid (44.09%). Lebih lanjut, penelitian menunjukkan bahwa model reranker yang lebih ringan (Alibaba-NLP/gte-multilingual) tidak hanya ~40% lebih cepat dalam latensi retrieval dibandingkan model yang lebih besar, tetapi juga menghasilkan peningkatan akurasi jawaban yang signifikan (dari 35.48% menjadi 52.69%). Penelitian ini memberikan kontribusi empiris kuantitatif bagi optimalisasi RAG berbahasa Indonesia, menawarkan panduan praktis berbasis data mengenai trade-off antara kualitas dan latensi, serta menekankan urgensi desain RAG yang context-aware, yang mana pilihan komponen retrieval dan reranking harus disesuaikan secara cermat dengan kondisi LLM (base vs fine-tuned) untuk mencapai kinerja optimal.

---

Efficient information access from Indonesian-language PDF documents presents significant challenges, particularly given the limitations of proprietary LLMs regarding privacy, cost, and domain adaptation. This research presents the development and evaluation of an innovative Retrieval-Augmented Generation (RAG) system based on open-source Gemma-3-4B-IT, adapted using Low-Rank Adaptation (LoRA), and enhanced with Hybrid Search strategies. Through four comprehensive experiments on an academic curriculum domain, this study systematically evaluates the impact of various components on performance. Evaluation is conducted holistically using Precision@K, RAGAS answer quality metrics (Faithfulness, Answer Relevance, Accuracy) assessed by an LLM-as-a-Judge (Gemini 2.5 Flash), and system latency. Key findings reveal a fundamental trade-off: fine-tuning dramatically accelerates answer generation (from ~3.5s to ~0.7s, a ~5x speedup), but at the cost of a significant drop in answer quality. For the hybrid configuration, Answer Relevance decreased from 93.55% to 59.14%, and Accuracy fell from 66.67% to 44.09%. This degradation is attributed to the extractive nature of the fine-tuning dataset. Another key finding is the complex interaction between retrieval strategy and LLM state: for the base LLM (before fine-tuning), a Hybrid Search strategy with a reranker yields the highest RAGAS quality. However, for the fine-tuned LLM, a Vector Search only strategy surprisingly delivers the best accuracy (59.14%), outperforming the hybrid strategy (44.09%). Furthermore, the study shows that a lighter reranker model (Alibaba-NLP/gte-multilingual) is not only ~40% faster in retrieval latency than a larger model but also yields a significant increase in answer Accuracy (from 35.48% to 52.69%). This research provides quantitative empirical contributions to Indonesian RAG optimization, offering practical, data-driven guidance on the quality-latency trade-offs. It emphasizes the urgency of a context-aware RAG design, where the choice of retrieval and reranking components must be carefully tailored to the LLM's state (base vs. fine-tuned) to achieve optimal performance."