Hasil Pencarian  ::  Simpan CSV :: Kembali

"Dalam dekade terakhir, metode komunikasi lewat pengiriman pesan instan atau aplikasi chat mengalami peningkatan popularitas yang cukup drastis. Perkembangan hal ini menghasilkan peningkatan jumlah chatbot yaitu software yang didesain untuk menciptakan interaksi antara pengguna atau manusia dan komputer yang menggunakan bahasa yang serupa dengan percakapan biasa antara dua manusia. Dengan meningkatnya jumlah chatbot dalam berbagai bidang industri teknologi, makin diperlukan atensi lebih terhadap karakteristik-karakteristik yang mempengaruhi usability pada chatbot untuk meningkatkan pengalaman pengguna. Diperlukan kumpulan karakteristik usability chatbot yang dapat digunakan untuk mengevaluasi kualitas usability chatbot dari bidang manapun. Discord merupakan aplikasi chat dengan jumlah pengguna chatbot yang tinggi namun masih belum ada penelitian yang mengevaluasi chatbot pada aplikasi tersebut. Untuk melakukan evaluasi ini, digunakan beberapa metode yaitu systematic literature review yang menghasilkan list karakteristik usability chatbot secara umum, usability testing dengan 7 partisipan untuk mendapat umpan balik secara langsung dari pengguna aplikasi chatbot musik Hydra pada Discord, data 105 pengguna Discord lewat chatbot usability questionnaire untuk memperoleh sebuah nilai kuantitatif mengenai usability chatbot Discord, dan thematic analysis untuk menentukan umpan balik pengguna yang dapat diubah menjadi perbaikan usability Discord. Hasil penelitian berupa list karakteristik chatbot dari SLR, CUQ score untuk usability chatbot dan usulan perbaikan beberapa fitur chatbot Hydra yang fokus kepada merepresentasikan informasi dengan lebih baik, pemberian umpan balik efektif atas command yang diberikan, membuat chatbot yang lebih manusiawi dalam cara berkomunikasi.

---

In the last decade, communication methods via instant messaging or chat applications have increased in popularity quite drastically. This development has resulted in an increase in the number of chatbots, namely software designed to create interactions between users or humans and computers that use a language similar to an ordinary conversation between two humans. With the increasing number of chatbots in various fields of the technology industry, more and more attention is needed on the characteristics that affect the usability of chatbots to improve the user experience. A collection of chatbot usability features is needed that can be used to evaluate the usability quality of chatbots from any field. Discord is a chat application with a high number of chatbot users, but there is still no research evaluating chatbots in this application. To carry out this evaluation, several methods were used, namely a systematic literature review that results in a list of chatbot usability characteristics, usability testing with 7 participants to get direct feedback from users of the Hydra music chatbot application on Discord, data on 105 Discord users via a chatbot usability questionnaire to obtain a quantitative assessment of the usability of the Discord chatbot, and a thematic analysis to determine user feedback that can be turned into improvements to Discord usability. The results of the evaluation of the research are in the form of suggestions for improving several Hydra chatbot features that focus on better representing information, providing effective feedback on commands given, making chatbots more humane in the way they communicate."

"Dalam dekade terakhir, metode komunikasi lewat pengiriman pesan instan atau aplikasi chat mengalami peningkatan popularitas yang cukup drastis. Perkembangan hal ini menghasilkan peningkatan jumlah chatbot yaitu software yang didesain untuk menciptakan interaksi antara pengguna atau manusia dan komputer yang menggunakan bahasa yang serupa dengan percakapan biasa antara dua manusia. Dengan meningkatnya jumlah chatbot dalam berbagai bidang industri teknologi, makin diperlukan atensi lebih terhadap karakteristik-karakteristik yang mempengaruhi usability pada chatbot untuk meningkatkan pengalaman pengguna. Diperlukan kumpulan karakteristik usability chatbot yang dapat digunakan untuk mengevaluasi kualitas usability chatbot dari bidang manapun. Discord merupakan aplikasi chat dengan jumlah pengguna chatbot yang tinggi namun masih belum ada penelitian yang mengevaluasi chatbot pada aplikasi tersebut. Untuk melakukan evaluasi ini, digunakan beberapa metode yaitu systematic literature review yang menghasilkan daftar karakteristik usability chatbot secara umum, usability testing dengan tujuh partisipan untuk mendapat umpan balik secara langsung dari pengguna aplikasi chatbot musik Hydra pada Discord, data 105 pengguna Discord lewat chatbot usability questionnaire untuk memperoleh sebuah nilai kuantitatif mengenai usability chatbot Discord, dan analisis tematik untuk menentukan umpan balik pengguna yang dapat diubah menjadi perbaikan usability Discord. Hasil penelitian berupa daftar karakteristik chatbot dari SLR, CUQ score untuk usability chatbot dan usulan perbaikan beberapa fitur chatbot Hydra yang fokus kepada merepresentasikan informasi dengan lebih baik, pemberian umpan balik efektif atas command yang diberikan, membuat chatbot yang lebih manusiawi dalam cara berkomunikasi.

---

Over the past decade, there has been a significant surge in the popularity of communication methods through instant messaging and chat applications. This surge has led to a corresponding increase in the prevalence of chatbots—software designed to facilitate interactions between users or humans and computers, emulating natural human conversation. With the growing presence of chatbots across various sectors of the technology industry, there is a heightened need to scrutinize the key attributes that influence chatbot usability, ultimately enhancing the user experience. To address this need, there is a requirement for a comprehensive set of chatbot usability features that can be universally applied to evaluate chatbots across different domains. While Discord, a chat application, boasts a substantial user base for chatbots, there remains a noticeable absence of research focused on evaluating chatbots within this platform. To undertake this evaluation, a multi-faceted approach was employed, encompassing a systematic literature review that culminated in a compilation of chatbot usability characteristics, usability testing involving seven participants to solicit direct feedback on the Hydra music chatbot application on Discord, a chatbot usability questionnaire administered to 105 Discord users to gather quantitative insights into Discord chatbot usability, and a thematic analysis aimed at identifying user feedback for potential enhancements in Discord's usability. The research findings provide recommendations for refining various features of the Hydra chatbot, with a particular focus on enhancing information representation, delivering effective feedback in response to commands, and fostering a more human-like communication style."

"Dalam dekade terakhir, metode komunikasi lewat pengiriman pesan instan atau aplikasi chat mengalami peningkatan popularitas yang cukup drastis. Perkembangan hal ini menghasilkan peningkatan jumlah chatbot yaitu software yang didesain untuk menciptakan interaksi antara pengguna atau manusia dan komputer yang menggunakan bahasa yang serupa dengan percakapan biasa antara dua manusia. Dengan meningkatnya jumlah chatbot dalam berbagai bidang industri teknologi, makin diperlukan atensi lebih terhadap karakteristik-karakteristik yang mempengaruhi usability pada chatbot untuk meningkatkan pengalaman pengguna. Diperlukan kumpulan karakteristik usability chatbot yang dapat digunakan untuk mengevaluasi kualitas usability chatbot dari bidang manapun. Discord merupakan aplikasi chat dengan jumlah pengguna chatbot yang tinggi namun masih belum ada penelitian yang mengevaluasi chatbot pada aplikasi tersebut. Untuk melakukan evaluasi ini, digunakan beberapa metode yaitu systematic literature review yang menghasilkan daftar karakteristik usability chatbot secara umum, usability testing dengan tujuh partisipan untuk mendapat umpan balik secara langsung dari pengguna aplikasi chatbot musik Hydra pada Discord, data 105 pengguna Discord lewat chatbot usability questionnaire untuk memperoleh sebuah nilai kuantitatif mengenai usability chatbot Discord, dan analisis tematik untuk menentukan umpan balik pengguna yang dapat diubah menjadi perbaikan usability Discord. Hasil penelitian berupa daftar karakteristik chatbot dari SLR, CUQ score untuk usability chatbot dan usulan perbaikan beberapa fitur chatbot Hydra yang fokus kepada merepresentasikan informasi dengan lebih baik, pemberian umpan balik efektif atas command yang diberikan, membuat chatbot yang lebih manusiawi dalam cara berkomunikasi.

---

Over the past decade, there has been a significant surge in the popularity of communication methods through instant messaging and chat applications. This surge has led to a corresponding increase in the prevalence of chatbots—software designed to facilitate interactions between users or humans and computers, emulating natural human conversation. With the growing presence of chatbots across various sectors of the technology industry, there is a heightened need to scrutinize the key attributes that influence chatbot usability, ultimately enhancing the user experience. To address this need, there is a requirement for a comprehensive set of chatbot usability features that can be universally applied to evaluate chatbots across different domains. While Discord, a chat application, boasts a substantial user base for chatbots, there remains a noticeable absence of research focused on evaluating chatbots within this platform. To undertake this evaluation, a multi-faceted approach was employed, encompassing a systematic literature review that culminated in a compilation of chatbot usability characteristics, usability testing involving seven participants to solicit direct feedback on the Hydra music chatbot application on Discord, a chatbot usability questionnaire administered to 105 Discord users to gather quantitative insights into Discord chatbot usability, and a thematic analysis aimed at identifying user feedback for potential enhancements in Discord's usability. The research findings provide recommendations for refining various features of the Hydra chatbot, with a particular focus on enhancing information representation, delivering effective feedback in response to commands, and fostering a more human-like communication style."

"Dalam dunia yang terus berkembang pesat di era digital ini, aplikasi e-commerce menjadi salah satu pilar utama dalam memenuhi kebutuhan konsumen. Aplikasi "Yo-Kulak" sebagai bagian integral dari ekosistem e-commerce hadir untuk memberikan pengalaman belanja yang praktis dan efisien bagi pengguna. Dalam penelitian kali ini, evaluasi user experience dilakukan pada aplikasi Yo-Kulak menggunakan metode usability testing dengan mengukur performance metrics, self-reported metrics, dan issue-based metrics. Berdasarkan hasil dari pengukuran tersebut, ditemukan bahwa aplikasi Yo-Kulak sudah cukup baik, namun masih terdapat beberapa masalah yang perlu diperbaiki terkait user interface dan user experience-nya. Oleh karena itu, dilakukan perbaikan user interface Yo-Kulak berdasarkan permasalahan yang ada dan literatur yang berkaitan. Penelitian ini menghasilkan rekomendasi desain perbaikan untuk aplikasi Yo-Kulak dengan mengacu pada UX Laws. Hasil penelitian ini menunjukkan bahwa rekomendasi desain perbaikan dapat meningkatkan kepuasan pengguna.

---

In the rapidly evolving world of the digital era, e-commerce applications have become a cornerstone in meeting consumer needs. The "Yo-Kulak" application, as an integral part of the e-commerce ecosystem, is designed to provide a practical and efficient shopping experience for users. In this study, a user experience evaluation was conducted on the Yo-Kulak application using usability testing methods, measuring performance metrics, self-reported metrics, and issue-based metrics. Based on the results of these measurements, it was found that the Yo-Kulak application performs well, but there are still some issues related to its user interface and user experience that need improvement. Therefore, improvements to the Yo-Kulak user interface were made based on identified issues and relevant literature. This research resulted in design improvement recommendations for the Yo-Kulak application, referencing UX Laws. The findings indicate that these design recommendations can enhance user satisfaction."

"Topik tugas akhir ini adalah penelitian tentang penilaian usability terhadap aplikasi MyPertamina dengan menggunakan metode Usability Testing dan System Usability Scale. Aplikasi MyPertamina ini dijadikan fokus utama dalam penelitian karena digunakan oleh sebagian besar masyarakat di Indonesia dan adanya himbauan dari pemerintah, bahwa masyarakat diwajibkan menggunakan MyPertamina di beberapa Kota/Kabupaten untuk mendapatkan BBM subsidi. Berdasarkan hasil System Usability Scale pada MyPertamina yang diikuti oleh 74 partisipan, diperoleh grade D, adjective rating OK, dan rentang penerimaan marginal rendah yang berarti ada di perbatasan antara rentang tidak diterima dan diterima tetapi lebih cenderung ke tidak diterima. Berdasarkan interpretasi SUS score percentile rank, skor ini terletak mendekati percentile rank 30%. Hasil Usability Testing dinilai berdasarkan ketepatan pengerjaan task. Secara keseluruhan, hasil Usability Testing yang telah diikuti oleh 25 partisipan mendapatkan rata-rata successfulness rate (persentase sukses berjalannya tasks) sebesar 93.82%. Selain itu, aplikasi juga memiliki tingkat error-free rate yang cukup tinggi, yaitu 70.18%. Dalam analisis hasil Usability Testing, beberapa penyebab utama kegagalan task adalah adanya bug dalam aplikasi, penggunaan kata yang kurang jelas, posisi fitur yang sulit ditemukan, serta flow aplikasi yang kurang jelas. Desain perbaikan juga dirancang berdasarkan feedback yang diberikan oleh peserta Usability Testing yang dibuat dengan memanfaatkan fitur prototype di Figma. Desain perbaikan kemudian diujikan kepada 5 partisipan dengan metode User Testing.

---

The topic of this thesis is research about usability evaluation towards MyPertamina application using Usability Testing and System Usability Scale. MyPertamina is used in this research due to majority of people across Indonesia are using it and there is an obligation from government to use MyPertamina in some cities/districts to get the fuel subsidy. Based on the System Usability Scale results which was participated by 74 people, MyPertamina got grade D, adjective rating OK, and acceptability range in marginal low which means it is in the borderline between not acceptable and acceptable but more towards not acceptable. Based from SUS score percentile rank interpretation, this score is placed closely at percentile rank 30%. The Usability Testing results which was participated by 25 people are based on the accuracy and correctness of how the task is done. Overall, the results has an average successfulness rate (the percentage of tasks being successfully done) of 93.82%. Besides that, the application also have a pretty high error-free rate, which is 70.18%. After analysis, some of the main causes of task failure are due to bugs in application, unclear wording, difficulty in finding the position of some features, and unclear application flow. The improvements are designed based on the feedback provided by Usability Testing participants and made by utilizing the prototype feature in Figma. The improvement designs then tested by 5 participants with User Testing method."

"Topik tugas akhir ini adalah penelitian tentang penilaian usability terhadap aplikasi MyPertamina dengan menggunakan metode Usability Testing dan System Usability Scale. Aplikasi MyPertamina ini dijadikan fokus utama dalam penelitian karena digunakan oleh sebagian besar masyarakat di Indonesia dan adanya himbauan dari pemerintah, bahwa masyarakat diwajibkan menggunakan MyPertamina di beberapa Kota/Kabupaten untuk mendapatkan BBM subsidi. Berdasarkan hasil System Usability Scale pada MyPertamina yang diikuti oleh 74 partisipan, diperoleh grade D, adjective rating OK, dan rentang penerimaan marginal rendah yang berarti ada di perbatasan antara rentang tidak diterima dan diterima tetapi lebih cenderung ke tidak diterima. Berdasarkan interpretasi SUS score percentile rank, skor ini terletak mendekati percentile rank 30%. Hasil Usability Testing dinilai berdasarkan ketepatan pengerjaan task. Secara keseluruhan, hasil Usability Testing yang telah diikuti oleh 25 partisipan mendapatkan rata-rata successfulness rate (persentase sukses berjalannya tasks) sebesar 93.82%. Selain itu, aplikasi juga memiliki tingkat error-free rate yang cukup tinggi, yaitu 70.18%. Dalam analisis hasil Usability Testing, beberapa penyebab utama kegagalan task adalah adanya bug dalam aplikasi, penggunaan kata yang kurang jelas, posisi fitur yang sulit ditemukan, serta flow aplikasi yang kurang jelas. Desain perbaikan juga dirancang berdasarkan feedback yang diberikan oleh peserta Usability Testing yang dibuat dengan memanfaatkan fitur prototype di Figma. Desain perbaikan kemudian diujikan kepada 5 partisipan dengan metode User Testing.

---

The topic of this thesis is research about usability evaluation towards MyPertamina application using Usability Testing and System Usability Scale. MyPertamina is used in this research due to majority of people across Indonesia are using it and there is an obligation from government to use MyPertamina in some cities/districts to get the fuel subsidy. Based on the System Usability Scale results which was participated by 74 people, MyPertamina got grade D, adjective rating OK, and acceptability range in marginal low which means it is in the borderline between not acceptable and acceptable but more towards not acceptable. Based from SUS score percentile rank interpretation, this score is placed closely at percentile rank 30%. The Usability Testing results which was participated by 25 people are based on the accuracy and correctness of how the task is done. Overall, the results has an average successfulness rate (the percentage of tasks being successfully done) of 93.82%. Besides that, the application also have a pretty high error-free rate, which is 70.18%. After analysis, some of the main causes of task failure are due to bugs in application, unclear wording, difficulty in finding the position of some features, and unclear application flow. The improvements are designed based on the feedback provided by Usability Testing participants and made by utilizing the prototype feature in Figma. The improvement designs then tested by 5 participants with User Testing method."

"Chatbot sebagai asisten virtual yang digunakan oleh suatu instansi dapat memberikan manfaat bagi penggunanya. Dengan adanya chatbot, pengguna dapat berbicara langsung kepada chatbot melalui pesan singkat, yang kemudian sistem secara spontan mengidentifikasi intent pesan tersebut dan merespons dengan tindakan yang relevan. Sayangnya, cakupan pengetahuan chatbot terbatas dalam menangani pesan oleh pengguna yang semakin bervariasi. Dampak utama dari adanya variasi tersebut adalah adanya perubahan pada komposisi label intent. Untuk itu, penelitian ini berfokus pada dua hal. Pertama, pemodelan topik untuk menemukan intent dari pesan pengguna yang belum teridentifikasi intent-nya. Kedua, pemodelan topik digunakan untuk mengorganisasi intent yang sudah ada dengan menganalisis hasil keluaran model topik. Setelah dianalisis, terdapat dua kemungkinan fenomena perubahan komposisi intent yaitu: penggabungan dan pemecahan intent, dikarenakan terdapat noise saat proses anotasi dataset orisinal. Pemodelan topik yang digunakan terdiri dari Latent Dirichlet Allocation (LDA) sebagai model baseline dan dengan model state-of-the-art Top2Vec dan BERTopic. Penelitian dilakukan terhadap dataset salah satu e-commerce di Indonesia dan empat dataset publik. Untuk mengevaluasi model topik digunakan metrik evaluasi coherence, topic diversity dan topic quality. Hasil penelitian menunjukkan model topik BERTopic dan Top2Vec menghasilkan nilai topic quality 0.036 yang lebih baik dibandingkan model topik LDA yaitu -0.014. Terdapat pula pemecahan intent dan penggabungan intent yang ditemukan dengan analisis threshold proporsi.

---

Chatbot, as a virtual assistant used by an institution, can provide benefits for its users. With a chatbot, users can speak directly to the chatbot via a short message, which then the system spontaneously identifies the intent of the message and responds with the relevant action. Unfortunately, the scope of chatbot knowledge is limited in handling messages by an increasingly varied user. The main impact of this variation is a change in the composition of the intent label. For this reason, this research focuses on two things. First, topic modeling to find intents from user messages whose intents have not been identified. Second, topic modeling is used to organize existing intents by analyzing the output of the topic model. After being analyzed, there are two possible phenomena of changing intent composition: merging and splitting intents because there is noise during the annotation process of the original dataset. The topic modeling used consists of Latent Dirichlet Allocation (LDA) as the baseline model and the state-of-the-art Top2Vec and BERTopic models. The research was conducted on one dataset of e-commerce in Indonesia and four public datasets. The evaluation metrics of coherence, topic diversity, and topic quality were used to evaluate the topic model. The results showed that the BERTopic and Top2Vec topic models produced a topic quality value of 0.036, better than the LDA topic model, which was -0.014. There are also intent splitting and intent merging found by proportion threshold analysis."

"Pasar e-commerce diproyeksikan akan terus bertumbuh hingga tahun 2020, pasar Indonesia termasuk didalamnya. Pertumbuhan tersebut dipicu oleh meningkatnya jumlah pengguna internet baik di dunia maupun di Indonesia. Namun seiring dengan meningkatnya pasar e-commerce di Indonesia, hal ini diikuti dengan menurunnya arus kunjungan ke toko ritel secara langsung. Pomona merupakan sebuah perusahaan adtech di Indonesia yang mencoba untuk mengembalikan arus kunjungan ke toko ritel tersebut. Pomona menggunakan platform mobile application sebagai alat untuk menjalankan bisnisnya. Akan tetapi menurut studi pendahuluan yang dilakukan pada penelitian ini, 75% responden mengatakan masih mengalami kendala ketika menggunakan aplikasi tersebut. Oleh karena itu diperlukan uji usability terhadap aplikasi ini untuk mengetahui seberapa mudah aplikasi mobile Pomona digu nakan. Penelitian ini menggunakan metode usability testing dengan menggunakan think aloud, after scenario questionnaire (ASQ), system usability scale (SUS), dan questionnaire for user interface satisfaction (QUIS) dalam mengolah data. Setelah mendapatkan hasil usability dari aplikasi Pomona, penelitian ini dilanjutkan dengan melakukan perbaikan rancangan user interface pada aplikasi tersebut dengan menggunakan pendekatan user centered design dan menggunakan 10 usability heuristics for user interface design serta Material Design sebagai literatur dalam melakukan perbaikan.

---

The e-commerce market is projected to grow until 2020, including in Indonesian. This growth was triggered by the increasing number of internet users both in the world and in Indonesia. But along with the increasing e-commerce market in Indonesia, this was followed by a decline in the number of visits to the retail store. Pomona is an ad tech company in Indonesia that tries to increase the number of visits to the retail store. Pomona uses the mobile application platform to run its business. However, according to a preliminary study, 75% of respondents said they were still having problems when using the application. Therefore we need usability testing for this application to find out how easily the Pomona mobile application is used. This study uses the usability testing method with think aloud, after scenario questionnaire (ASQ), system usability scale (SUS), and questionnaire for user interface satisfaction (QUIS). After gathered the usability results from the Pomona application, this research was continued by making improvements to the user interface design of the application using the user-centered design approach and using 10 usability heuristics for user interface design and Material Design as literature in the making of usability improvements."

"Internet banking adalah salah satu aspek dalam kehidupan manusia modern yang semakin berkembang penggunaannya. Namun seiring maraknya penggunaan internet banking sejumlah masalah usability mungkin timbul, sehingga menyebabkan penggunanya tidak puas karena user interface halaman internet banking tersebut tidak efektif dan efisien untuk digunakan. Penelitian ini dilakukan untuk mengevaluasi dan melakukan perbaikan layanan internet banking pada salah satu bank di Indonesia. Metode yang digunakan untuk mengevaluasi adalah dengan metode usability testing. Hasil yang didapat dari penelitian ini adalah setelah dilakukannya perbaikan pada user interface halaman internet banking membuat user interface halaman tersebut lebih efektif, efisien dan meningkatkan kepuasan pengguna.

---

Internet Banking is one of the aspects of the modern lifestyle which the use is growing rapidly. Nevertheless, as the growing of the usage of it, there are some several usability problems which results unsatisfied customer due to ineffective and inefficient internet banking webpage. This research is conducted to evaluate and repair one of the Indonesian bank internet banking service. Usability testing methodology is used to evaluate the webpage. This research produced a improved internet banking user interface which is more effective, more efficient,and improving user satisfaction. "

"Penelitian ini bertujuan untuk mengembangkan sistem chatbot yang mampu menjawab pertanyaan seputar akademik Teknik Komputer UI. Sistem ini memanfaatkan teknologi Large Language Model (LLM) Komodo-7B yang telah di-fine-tuning dengan teknik Low-Rank Adaptation (LoRA) dan diintegrasikan dengan Retrieval Augmented Generation (RAG). Dataset Ultrachat yang diterjemahkan ke Bahasa Indonesia digunakan untuk fine-tuning model Komodo-7B, sementara dokumen PDF Kurikulum Teknik Komputer UI 2020 v4 digunakan sebagai sumber informasi untuk model RAG.Pengujian performa model Komodo-7B menunjukkan bahwa LoRA efektif dalam meningkatkan kemampuan model dalam memahami dan menghasilkan teks percakapan Bahasa Indonesia. Namun, pengujian performa chatbot menggunakan dua dataset pertanyaan, yaitu dataset custom yang dihasilkan menggunakan Giskard dan API ChatGPT, dan dataset Fathurrahman Irwansa yang telah diadaptasi, menunjukkan bahwa sistem chatbot masih memiliki ruang untuk peningkatan. Tingkat akurasi yang rendah pada kedua dataset (32% pada dataset custom dan 24,1% pada dataset Fathur) mengindikasikan bahwa sistem retrieval yang digunakan kurang akurat dalam menemukan konteks yang relevan. Meskipun demikian, ketika model RAG dapat mengambil konteks yang relevan, model Komodo-7B menunjukkan akurasi yang cukup tinggi (80% pada dataset custom dan 91,29% pada dataset Fathur, dihitung dari jumlah ketika kedua Komodo-7B dan konteks benar, kemudian dibagi dengan jumlah ketika konteks benar).Hasil penelitian menunjukkan bahwa model Komodo-7B memiliki potensi yang baik untuk digunakan pada sistem chatbot jika dikombinasikan dengan sistem retrieval yang lebih akurat. Penelitian ini memberikan kontribusi dalam pengembangan sistem chatbot berbasis LLM untuk menjawab pertanyaan seputar akademik, dan membuka peluang untuk penggunaan yang lebih luas di lingkungan Universitas Indonesia.

---

This research aims to develop a chatbot system capable of answering questions regarding the academic curriculum of Computer Engineering at Universitas Indonesia. The system utilizes the Komodo-7B Large Language Model (LLM), fine-tuned with Low-Rank Adaptation (LoRA) and integrated with Retrieval Augmented Generation (RAG). The Ultrachat dataset, translated into Indonesian, is used for fine-tuning the Komodo-7B model, while the 2020 v4 Computer Engineering Curriculum PDF document serves as the information source for the RAG model. Performance evaluation of the Komodo-7B model demonstrates that LoRA effectively enhances the model's ability to understand and generate Indonesian text. However, chatbot performance testing using two question datasets, a custom dataset generated using Giskard and the ChatGPT API, and the Fathur dataset adapted from prior research, reveals that the chatbot system still has room for improvement. The low accuracy on both datasets (32% on the custom dataset and 24.1% on the Fathur dataset) indicates that the retrieval system employed is not sufficiently accurate in finding relevant context. Nevertheless, when the RAG model successfully identifies relevant context, the Komodo-7B model exhibits relatively high accuracy (80% on the custom dataset and 91.29% on the Fathur dataset, calculated from the total of when Komodo-7B and the context are both correct, then divided by the total of when the context is correct). The research findings suggest that the Komodo-7B model holds significant potential for chatbot systems when combined with a more accurate retrieval system. This study contributes to the development of LLM-based chatbot systems for answering academic-related questions and opens up opportunities for broader applications within Universitas Indonesia."