Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi aplikasi AI chatbot dalam proses pencarian pengetahuan atau knowledge retrieval pada suatu organisasi. Metodologi pengembangan aplikasi mengikuti metodologi Agile, dengan tahapan yang meliputi preliminary research, perumusan masalah, studi literatur, pengembangan aplikasi, dan evaluasi. Aplikasi dibangun menggunakan teknologi seperti Node.js, Next.js, dan PostgreSQL, serta diimplementasikan melalui platform Vercel dan GitHub. Penelitian ini menggunakan scenario-based task untuk mengevaluasi efektivitas chatbot dengan model GPT-3.5-turbo. Partisipan dibagi menjadi dua kelompok, satu menggunakan metode pencarian tanpa bantuan AI chatbot dan yang lain mendapatkan bantuan AI chatbot. Eksekusi scenario-based task pada penelitian ini dilakukan terhadap organisasi RM. Payakumbuah Cibubur dan BPOM. Selain dua organisasi tersebut, dilakukan juga uji coba untuk memvalidasi model penelitian dengan melakukan scenariobased task terhadap lingkungan Fasilkom UI. Parameter yang diukur termasuk di dalamnya akurasi informasi dan efisiensi waktu. Akurasi diukur dengan membandingkan nilai jawaban partisipan dengan bantuan AI dan tanpa bantuan AI, sementara efisiensi waktu diukur dari durasi yang diperlukan untuk menyelesaikan tugas. Analisis statistik dilakukan menggunakan Wilcoxon signed-rank test untuk efisiensi waktu dan Mann- Whitney U test untuk akurasi jawaban demi menentukan signifikansi perbedaan antara kedua kelompok. Hasil penelitian menunjukkan bahwa penggunaan AI chatbot mampu mempercepat waktu yang dibutuhkan karyawan dalam pencarian informasi organisasi. Selain itu, implementasi AI chatbot mampu menyajikan jawaban dengan akurasi yang konsisten. Kesimpulan dari penelitian ini adalah integrasi AI chatbot dalam knowledge retrieval organisasi memberikan manfaat dalam hal efisiensi dan akurasi.

---

This research aims to develop and evaluate AI chatbot applications in the knowledge retrieval process in an organization. The application development methodology follows the Agile methodology, with stages including preliminary research, problem formulation, literature study, application development, and evaluation. The application was built using technologies such as Node.js, Next.js, and PostgreSQL, that implemented through the Vercel and GitHub platforms. This study used scenario-based tasks to evaluate the effectiveness of the chatbot with the GPT-3.5-turbo model. Participants were divided into two groups, one using the search method without the help of AI chatbot and the other getting the help of AI chatbot. The execution of scenario-based tasks in this study was carried out on the RM. Payakumbuah Cibubur and BPOM. In addition to these two organizations, trials were also conducted to validate the research model by conducting scenario-based tasks on the Fasilkom UI environment. Parameters measured included information accuracy and time efficiency. Accuracy was measured by comparing the value of participants answers with and without AI assistance, while time efficiency was measured by the duration required to complete the task. Statistical analysis was conducted using Wilcoxon signed-rank test for time efficiency and Mann-Whitney U test for answer accuracy to determine the significance of the difference between the two groups. The results showed that the use of AI chatbot was able to speed up the time required for employees to search for organizational information. In addition, the implementation of AI chatbot is able to present answers with consistent accuracy. The conclusion of this research is that the integration of AI chatbot in organizational knowledge retrieval provides benefits in terms of efficiency and accuracy.