Hasil Pencarian  ::  Simpan CSV :: Kembali

"Dalam lanskap pendidikan modern yang semakin terintegrasi dengan teknologi AI, kebutuhan akan interaksi yang lebih dinamis dan adaptif antara mahasiswa dan sistem AI menjadi krusial, misalnya dalam simulasi ujian lisan. Oleh kare- na itu, penelitian ini memanfaatkan berbagai skema prompting seperti Proactive Chain-of-Thought (PCoT), Standard Prompting, Demonstration-based Prompting, Instruction-based Prompting, serta pendekatan Zero-Shot dan Few-Shot untuk me- ningkatkan proaktivitas LLM. Hasilnya, ProCoT Zero-Shot terbukti efektif dalam identi kasi kebutuhan Clari cation Need Prediction (CNP) dengan F1 Score 0.99. Untuk Clari cation Question Generation (CQG), ProCoT Few-Shot menunjukkan keunggulan signi kan dengan BLEU-1 41.8. Sementara itu, dalam target-guided dialogue, metode Proactive (baik Zero-Shot maupun Few-Shot) menunjukkan ki- nerja superior dalam kualitas respons generatif untuk pemanduan dialog menuju target dialog. Penelitian ini menyimpulkan bahwa efektivitas prompting sangat spe- si k terhadap tugas dan memerlukan pemilihan strategi untuk mencapai interaksi AI yang lebih efektif dan adaptif.

---

In the rapidly evolving landscape of modern education, increasingly integrated with AI technology, the need for more dynamic and adaptive interactions between stu- dents and AI systems has become crucial. This research analyzes and optimizes various prompting techniques to enhance the proactivity of Large Language Mo- dels (LLMs), speci cally in clari cation scenarios (Clari cation Need Predictio- n/CNP and Clari cation Question Generation/CQG) and target-guided dialogues. Various prompting schemes, including Proactive Chain-of-Thought (PCoT), Stan- dard Prompting, Demonstration-based Prompting, Instruction-based Prompting, as well as Zero-Shot and Few-Shot approaches, were utilized. The results show that ProCoT Zero-Shot proved highly effective in Clari cation Need Prediction (CNP), achieving an F1 Score of 0.99. For Clari cation Question Generation (CQG), Pro- CoT Few-Shot demonstrated signi cant superiority with a BLEU-1 score of 41.8. Meanwhile, in target-guided dialogues, the Proactive method (both Zero-Shot and Few-Shot) showed superior performance in generative response quality for guiding dialogues towards a target. This research concludes that prompting effectiveness is highly task-speci c and necessitates a nuanced strategy selection to achieve more effective and adaptive AI interactions."

"Berdasarkan UU Nomor 12 Tahun 2011, peraturan perundang-undangan harus ditempatkan dalam beberapa media agar dapat diakses seluruh warga. Akan tetapi, beberapa layanan resmi memiliki isu efisiensi bagi pengguna untuk mencari informasi antar peraturan hukum. Solusi alternatif sistem tanya jawab hukum berbasis knowledge graph, yaitu LexID QA memiliki keterbatasan pada pertanyaan yang lebih ekspresif. Penelitian ini mengusulkan sistem tanya jawab hukum berbasis LLM dengan knowledge graph LexID melalui few-shot prompting. Sistem yang dibangun menerjemahkan pertanyaan menjadi kueri SPARQL. Sistem terdiri dari dua komponen, yaitu tanya jawab dan entity linking. Entity linking dilakukan dengan model berbahasa Indonesia untuk memetakan pertanyaan yang diberikan pengguna menjadi pemetaan entitas dan IRI. Kemudian, tanya jawab dilakukan dengan model code generation untuk menerjemahkan pertanyaan beserta informasi entity linking menjadi kueri SPARQL, bahasa kueri knowledge graph.

---

Based on Act 12/2011, legal document must be placed in several medias for citizen to access it. However, government services have shortcoming in efficiently retrieving information involving two or more legal documents. Existing solution to this issue is LexID QA yet unable to process more expressive question. This research proposes knowledge graph legal question answering based on LLM utilizing few-shot prompting. Proposed system is expected to transform question into SPARQL query. Proposed system is composed of two components, that is question answering and entity linking. Entity linking utilize Indonesian LLM to map user's question into entity-IRI mapping. Question answering model then translate question to SPARQL query with entity linking as an additional context."

"Perkembangan teknologi kecerdasan buatan (AI) dalam beberapa tahun terakhir telah menjadi peluang besar di berbagai sektor, termasuk dalam sektor kesehatan. Salah satu implementasi AI yang menunjukkan potensi signifikan adalah Large Language Models (LLM), yang dapat memahami dan menghasilkan teks. Penelitian ini bertujuan untuk mengembangkan sistem asisten medis virtual berbasis AI dengan mengintegrasikan LLM dan teknik Retrieval-Augmented Generation (RAG). Sistem ini dirancang untuk memberikan informasi medis yang relevan, akurat, dan terkini bagi tenaga medis. Metode penelitian melibatkan pengembangan sistem menggunakan LLM, RAG, dan LangChain, yang kemudian diuji untuk memastikan kinerja dan keandalannya. Evaluasi dilakukan dengan metrik berbasis RAG dan ROUGE, mencakup dimensi seperti faithfulness, context precision, answer relevance, dan context recall. Hasil penelitian menunjukkan bahwa integrasi LLM dan RAG mampu meningkatkan akurasi informasi, relevansi jawaban, dan efisiensi sistem dalam skenario klinis. Sistem ini diharapkan dapat menjadi solusi inovatif untuk mendukung pekerjaan tenaga medis, mempercepat pengambilan keputusan, dan meningkatkan kualitas pelayanan kesehatan.

---

The advancement of artificial intelligence (AI) technology in recent years has created significant opportunities across various sectors, including healthcare. One notable implementation of AI with significant potential is Large Language Models (LLM), which can comprehend and generate text. This study aims to develop an AI-based virtual medical assistant system by integrating LLM and Retrieval-Augmented Generation (RAG) techniques. The system is designed to provide relevant, accurate, and up-to-date medical information for healthcare professionals. The research methodology involves the development of the system using LLM, RAG, and LangChain, followed by performance and reliability testing. Evaluation is conducted using RAG- and ROUGE-based metrics, covering dimensions such as faithfulness, context precision, answer relevance, and context recall. The results demonstrate that integrating LLM and RAG enhances information accuracy, answer relevance, and system efficiency in clinical scenarios. This system is expected to be an innovative solution to support healthcare professionals, expedite decision-making, and improve the quality of healthcare services. "

"Penalaran deduktif adalah suatu metode berpikir logis di mana seseorang menarik kesimpulan spesifik (hipotesis) berdasarkan premis atau pernyataan umum yang dianggap benar dengan menerapkan aturan inferensi logika. Aturan inferensi logika adalah prinsip-prinsip logika yang memungkinkan seseorang untuk mengambil hipotesis yang absah dari premis yang diberikan. Meskipun penalaran deduktif memiliki keunggulan pada penalaran yang absah, manusia cenderung membuat kesalahan dalam bernalar deduktif. Salah satu model bahasa untuk penalaran deduktif adalah Natural Logic (NatLog), yaitu model berbasis machine learning yang dilatih untuk melakukan klasifikasi kelas dari hubungan persyaratan antar kalimat. Namun, model memiliki keterbatasan pada rentang kalimat yang panjang. Di sisi lain, Large Language Model (LLM) seperti Generative Pre-trained Transformer (GPT) telah menunjukkan performa yang baik dalam tugas penalaran deduktif, terutama dengan menggunakan metode Chain of Thought (CoT). Namun, metode CoT masih menimbulkan masalah halusinasi dan inkonsistensi dari langkah perantaranya, yang berujung pada konklusi akhir yang tidak absah. Metode Chain of Thought - Self-Consistency (CoT-SC) merupakan pengembangan dari metode CoT yang bertujuan untuk meningkatkan kemampuan penalaran pada LLM. Dalam metode CoT-SC, CoT dijalankan beberapa kali untuk menghasilkan beberapa sampel jawaban. Setelah itu, dilakukan operasi modus, yaitu pemilihan jawaban yang paling sering muncul di antara sampel-sampel yang dihasilkan, untuk menentukan jawaban akhir. Jawaban dengan frekuensi kemunculan terbanyak dianggap sebagai jawaban yang paling konsisten dan akurat. Tujuan dari penelitian ini adalah untuk mengimplementasikan dan menganalisis kemampuan metode CoT-SC pada model GPT dalam menyelesaikan tugas penalaran deduktif. Penelitian ini akan mengevaluasi kemampuan penalaran deduktif pada model GPT menggunakan tiga sumber data yang merepresentasikan tiga domain tugas penalaran deduktif yang berbeda, yaitu ProntoQA, ProofWriter, dan FOLIO. Setelah itu, akan dilakukan analisis perbandingan performa LLM berbasis metode CoT-SC dengan manusia dalam menyelesaikan tugas penalaran deduktif. Hasil penelitian menunjukkan bahwa metode CoT-SC menunjukkan performa akurasi yang baik dalam mayoritas tugas penalaran deduktif serta LLM GPT dengan metode CoT-SC mengungguli 1 dari 3 domain tugas penalaran deduktif. Hasil ini menunjukkan model GPT berbasis metode CoT-SC memiliki potensi dalam tugas penalaran deduktif.

---

Deductive reasoning is a method of logical thinking in which one draws specific conclusions (hypotheses) based on general premises or statements that are considered true by applying the rules of logical inference. Rules of logical inference are principles of logic that allow one to derive valid hypotheses from given premises. Although deductive reasoning has the advantage of valid reasoning, humans tend to make mistakes in deductive reasoning. One of the language models for deductive reasoning is Natural Logic (NatLog), which is a machine learning-based model trained to perform class classification of conditional relations between sentences. However, the model has limitations on long sentence ranges. On the other hand, Large Language Models (LLMs) such as Generative Pre-trained Transformer (GPT) have shown good performance in deductive reasoning tasks, especially by using the Chain of Thought (CoT) method. However, the CoT method still raises the problem of hallucinations and inconsistencies of the intermediate steps, leading to invalid final conclusions. The Chain of Thought - Self-Consistency (CoT-SC) method is a development of the CoT method that aims to improve reasoning ability in LLM. In the CoT-SC method, CoT is run several times to produce several sample answers. After that, a mode operation is performed, which is the selection of the most frequently occurring answer among the generated samples, to determine the final answer. The answer with the highest frequency of occurrence is considered the most consistent and accurate answer. The purpose of this study is to implement and analyze the ability of the CoT-SC method on the GPT model in solving deductive reasoning tasks. This study will evaluate the deductive reasoning ability of the GPT model using three data sources representing three different deductive reasoning task domains, namely ProntoQA, ProofWriter, and FOLIO. After that, a comparative analysis of the performance of LLM based on the CoT-SC method with humans in solving deductive reasoning tasks. These results indicate the GPT model based on the CoT-SC method has a potential in deductive reasoning tasks."

"Dalam beberapa tahun terakhir, teknologi chatbot telah berkembang secara signifikan, dengan munculnya Large Language Model (LLM) seperti GPT dari OpenAI, Llama dari Meta, dan Gemini dari Google. Penelitian ini mengeksplorasi penerapan chatbot berbasis LLM dalam dunia medis, khususnya untuk membantu dan memantau pasien hemodialisis. Menggunakan kerangka kerja seperti LangChain untuk melakukan prompt engineering, Retrieval Augmented Generation (RAG) untuk meningkatkan pengetahuan domain, dan Chroma sebagai vector database, platform chatbot berbasis web dikembangkan. Pendekatan ReAct dan chain-of-thought (CoT) diterapkan untuk membuat sistem berbasis agen. Evaluasi kuantitatif dari penelitian ini akan menggunakan ROUGE, BLEU, dan SAS untuk sistem chatbot, dan MAP@3, dan MRR@3 digunakan untuk sistem RAG, bersama dengan penilaian kualitatif oleh ahli di bidang hemodialisis. Secara keseluruhan, evaluasi kualitatif dan kuantitatif untuk setiap sistem menerima umpan balik positif berdasarkan penilaian ahli dan hasil dari setiap metrik, yang menunjukkan bahwa kedua sistem berkinerja baik dalam menghasilkan tanggapan yang selaras dengan tujuan penelitian ini, yaitu memberikan tanggapan yang akurat dan membantu dalam memantau pasien. Dari sisi sistem, kemampuan chatbot dan sistem RAG dalam memahami konteks percakapan dan memberikan tanggapan yang lebih relevan dan informatif, menggunakan pendekatan berbasis agen yang ditingkatkan oleh RAG, memberikan keuntungan yang signifikan. Prompt yang kami gunakan, ReAct dan CoT, memungkinkan agen berbasis LLM untuk berpikir lebih efektif, membuat keputusan yang tepat, dan mensimulasikan proses berpikir yang lebih terstruktur dan logis. Dengan memanfaatkan peningkatan ini, chatbot juga dapat menghasilkan pesan urgensi medis untuk memperingatkan tim medis yang terhubung ke platform. Hal ini memungkinkan mereka untuk merespons keadaan darurat ketika pasien melaporkan gejala yang membutuhkan perawatan lebih lanjut di rumah sakit. Penelitian ini telah menunjukkan bahwa LLM dapat digunakan secara efektif sebagai chatbot di bidang kesehatan, khususnya untuk memantau pasien hemodialisis.

---

In recent years, chatbot technology has advanced significantly, with the rise of Large Language Models (LLMs) such as OpenAI’s GPT, Meta’s Llama, and Google’s Gemini. This research explores the application of LLM-based chatbots in healthcare, specifically for assisting and monitoring hemodialysis patients. Using frameworks like LangChain for prompt engineering, Retrieval Augmented Generation (RAG) for enhanced domain knowledge, and Chroma as a vector database, a web-based chatbot platform was developed. The ReAct and chain-of-thought (CoT) approaches were applied to create an agent-based system. The quantitative evaluation of this research will use ROUGE, BLEU, and SAS for the chatbot system, and MAP@3, and MRR@3 were used for the RAG systems, along with qualitative expert assessments. Overall, the qualitative and quantitative evaluations for each system received positive feedback based on expert judgment and the results of each metrics, indicating that both systems performed well in generating responses aligned with the goals of this research, which are to provide accurate responses and assist in monitoring patients. On the system side, the chatbot and RAG system’s ability to understand conversational context and provide more relevant and informative responses, using agent-based approaches enhanced by RAG, offers a clear advantage. The prompts we are using, ReAct and CoT, enable the agent-based LLM to think more effectively, make appropriate decisions, and simulate a more structured and logical thought process. By utilizing these enhancements, the chatbot can also generate medical urgency message to alert medical teams connected to the platform. This allows them to respond to emergencies when patients report symptoms that require further care at a hospital. This research has demonstrated that LLMs can be effectively utilized as chatbots in the healthcare field, specifically for monitoring hemodialysis patients."

"Dalam beberapa tahun terakhir, teknologi chatbot telah berkembang secara signifikan, dengan munculnya Large Language Model (LLM) seperti GPT dari OpenAI, Llama dari Meta, dan Gemini dari Google. Penelitian ini mengeksplorasi penerapan chatbot berbasis LLM dalam dunia medis, khususnya untuk membantu dan memantau pasien hemodialisis. Menggunakan kerangka kerja seperti LangChain untuk melakukan prompt engineering, Retrieval Augmented Generation (RAG) untuk meningkatkan pengetahuan domain, dan Chroma sebagai vector database, platform chatbot berbasis web dikembangkan. Pendekatan ReAct dan chain-of-thought (CoT) diterapkan untuk membuat sistem berbasis agen. Evaluasi kuantitatif dari penelitian ini akan menggunakan ROUGE, BLEU, dan SAS untuk sistem chatbot, dan MAP@3, dan MRR@3 digunakan untuk sistem RAG, bersama dengan penilaian kualitatif oleh ahli di bidang hemodialisis. Secara keseluruhan, evaluasi kualitatif dan kuantitatif untuk setiap sistem menerima umpan balik positif berdasarkan penilaian ahli dan hasil dari setiap metrik, yang menunjukkan bahwa kedua sistem berkinerja baik dalam menghasilkan tanggapan yang selaras dengan tujuan penelitian ini, yaitu memberikan tanggapan yang akurat dan membantu dalam memantau pasien. Dari sisi sistem, kemampuan chatbot dan sistem RAG dalam memahami konteks percakapan dan memberikan tanggapan yang lebih relevan dan informatif, menggunakan pendekatan berbasis agen yang ditingkatkan oleh RAG, memberikan keuntungan yang signifikan. Prompt yang kami gunakan, ReAct dan CoT, memungkinkan agen berbasis LLM untuk berpikir lebih efektif, membuat keputusan yang tepat, dan mensimulasikan proses berpikir yang lebih terstruktur dan logis. Dengan memanfaatkan peningkatan ini, chatbot juga dapat menghasilkan pesan urgensi medis untuk memperingatkan tim medis yang terhubung ke platform. Hal ini memungkinkan mereka untuk merespons keadaan darurat ketika pasien melaporkan gejala yang membutuhkan perawatan lebih lanjut di rumah sakit. Penelitian ini telah menunjukkan bahwa LLM dapat digunakan secara efektif sebagai chatbot di bidang kesehatan, khususnya untuk memantau pasien hemodialisis.

---

In recent years, chatbot technology has advanced significantly, with the rise of Large Language Models (LLMs) such as OpenAI’s GPT, Meta’s Llama, and Google’s Gemini. This research explores the application of LLM-based chatbots in healthcare, specifically for assisting and monitoring hemodialysis patients. Using frameworks like LangChain for prompt engineering, Retrieval Augmented Generation (RAG) for enhanced domain knowledge, and Chroma as a vector database, a web-based chatbot platform was developed. The ReAct and chain-of-thought (CoT) approaches were applied to create an agent-based system. The quantitative evaluation of this research will use ROUGE, BLEU, and SAS for the chatbot system, and MAP@3, and MRR@3 were used for the RAG systems, along with qualitative expert assessments. Overall, the qualitative and quantitative evaluations for each system received positive feedback based on expert judgment and the results of each metrics, indicating that both systems performed well in generating responses aligned with the goals of this research, which are to provide accurate responses and assist in monitoring patients. On the system side, the chatbot and RAG system’s ability to understand conversational context and provide more relevant and informative responses, using agent-based approaches enhanced by RAG, offers a clear advantage. The prompts we are using, ReAct and CoT, enable the agent-based LLM to think more effectively, make appropriate decisions, and simulate a more structured and logical thought process. By utilizing these enhancements, the chatbot can also generate medical urgency message to alert medical teams connected to the platform. This allows them to respond to emergencies when patients report symptoms that require further care at a hospital. This research has demonstrated that LLMs can be effectively utilized as chatbots in the healthcare field, specifically for monitoring hemodialysis patients."

"Perkembangan Large Language Model (LLM) terjadi secara cepat dan mengalami kemajuan yang signifikan.Hal ini mendorong penggunaandanpemanfaatan LLM pada berbagai bidang. Disisilain, Knowledge Graph (KG) menyediakan cara yang terstruktur dan bermakna untuk menyimpan informasi. KG sudah banyak digunakan secara luas di berbagai aplikasi, seperti mesin pencari,system rekomendasi, dan sistem penjawab pertanyaan. Salah satu pemanfaatan LLM dan KG yang masih jarang adalah pada bidang jurnalistik, khususnya untuk menganalisis dan memvisualisasikan berita. Penelitian ini bertujuan untuk mengembangkan alat ekstraksi informasi yang efisien, akurat, dan interaktif untuk menganalisis teks berita menggunakan pendekatan gabungan antara LLM dan KG. Metode ini menggabungkan keunggulan kedua teknik tersebut untuk meningkatkan pemahaman dan ekstraksi informasi dari teks berita yang kompleks. Tujuannya adalah agar pembaca dapat memahami informasi yang terdapat pada teks berita dengan lebih interaktif. Penulis memanfaatkan LLM yang telah terlatih secara luas dalam memahami dan menghasilkan teks untuk mengidentifikasi informasi penting dalam teks berita, seperti entitas, sentimen, kutipan, relasi antar entitas, dan unsur 5W1H (Who, What, Where, When, Why, How), urutan kronologis kejadian, dan hubungan bagian-keseluruhan (mereology) dalam teks berita. Untuk mengekstraksi informasiterse- but, prompt dimodifikasi dengan menggunakan pendekatan one-shot-prompting untuk memberikan konteks dan contoh kepada LLM dalam memahami teks berita. Kemudian, informasi yang diekstraksi di visualisasikan dalam bentuk KG yang merepresentasikan pengetahuan terstruktur tentang entitas dan hubungannya didalam teks. Selainitu, penelitian melibatkan pembuatan sebuah website yang akan menyediakan antarmuka untuk system agar pengguna dapat melakukan analisis teks berita secara langsung dan interaktif. Evaluasi utama yang dilakukan pada penelitian ini adalah mengukur akurasi jawaban yang dihasilkan oleh LLM pada setiap bagian informasi yang diekstraksi dan bagaimana visualisasi KG yang baik untuk informasi yang didapat. Penelitian ini menunjukkan bahwa LLM mampu mengekstraksi informasi yang diinginkan dengan cukup akurat dan visualisasi KG dapat menyajikan informasi dengan lebih interaktif dan mudah dimengerti. Penelitian initelah menunjukkan bahwa LLM dan KG dapat dimanfaatkan sebagai alat ekstraksi dan visualisasi informasi yang ada pada teks berita.

---

The development of Large Language Model (LLM) is happening rapidly and has made significant progress. This encourages the use and utilization of LLM in various fields. On the other hand, Knowledge Graph (KG) provides a structured and meaningful way to store information. KG has been widely used in various applications, such as search engines, recommendation systems, and question answering systems. One of the uses of LLM and KG that is still rare is in the field of journalism, especially for analyzing and visualizing news. This study aims to develop an efficient, accurate, and interactive information extraction tool for analyzing news texts using a combined approach between LLM and KG. This method combines the advantages of both techniques to improve understanding and information extraction from complex news texts. The goal is for readers to understand the information contained in the news text more interactively. The author uses LLM which has been widely trained in understanding and producing text to identify important information in news texts, such as entities, sentiments, quotes, relationships between entities, and 5W1H elements (Who, What, Where, When, Why, How), chronological sequence of events, and part-whole relationships (mereology) in news texts. To extract the information, the prompt is modified using a one-shot-prompting approach to provide context and examples to LLM in understanding the news text. Then, the extracted information is visualized in the form of KG which represents structured knowledge about entities and their relationships in the text. In addition, the study involves the creation of a website that will provide an interface for the system so that users can analyze news texts directly and interactively. The main evaluation carried out in this study is to measure the accuracy of the answers generated by LLM on each part of the extracted information and how good KG visualization is for the information obtained. This study shows that LLM is able to extract the desired information quite accurately and KG visualization can present information more interactively and easily understood. This study has shown that LLM and KG can be used as tools for extracting and visualizing information in news texts."

"ABSTRAKAnak-anak dengan autisme memiliki defisit pada kemampuan komunikasi dan interaksi sosialnya. Salah satu bentuk defisitnya bahkan tampak dalam kontak sosial sederhana yaitu kurangnya atau tidak adanya kontak mata, padahal kemampuan tersebut diketahui penting bagi anak untuk mengembangkan keterampilan lain yang lebih kompleks, seperti bahasa, kemampuan untuk memperhatikan (attending), bahkan dapat mempengaruhi edukasi dan pemahaman pelajaran anak. Penerapan prompting merupakan salah satu aplikasi modifikasi perilaku yang lazim digunakan untuk membentuk perilaku pada anak dengan autisme.Penelitian ini bermaksud untuk melihat keberhasilan dari penerapan prompting untuk meningkatkan kontak mata pada anak laki-laki berusia 6 tahun dengan autisme. Hasil studi ini menunjukkan bahwa penerapan prompting dapat meningkatkan kontak mata anak dengan autism.

---

ABSTRACT

Children with autism experience deficit in social communication and interaction. One of the deficit that is visible even in basic social contact is lack of eye contact. Eye contact is known to be important for children to develop another skill that is more complex, like language, attending skills, and might influence education and understanding of subjects. Prompting is one of the basic procedure in behavior modification known to help improve children with autism, especially in improving eye contact.

Thus, this study is interested to see how the application of shaping to improve eye contact in a 6 years old boy with autism, will work. The result showed that the application prompting did improve eye contact in a child with autism."

"Pada era ekonomi digital, penguatan pengambilan keputusan berbasis data menjadi landasan penting dalam menghadapi tantangan dan peluang yang semakin kompleks. Model Pembelajaran Mesin dan Model Bahasa Besar menjadi perangkat penting untuk pengelolaan data besar, terciptanya solusi yang adaptif dan presisi, serta menghasilkan wawasan yang relevan untuk mendukung pengambilan keputusan yang lebih baik. Perkembangan ini diharapkan semakin meningkatkan kapabilitas kita dalam mengambil keputusan berbasis data dalam industri, bisnis, maupun riset akademik."

"Penelitian ini bertujuan untuk mengembangkan sistem prediksi situs web berbahaya menggunakan pendekatan Large Language Model (LLM) Qwen3 yang di fine-tuning melalui proses knowledge distillation dari model DeepSeek-R1 sebagai model guru. Sistem ini dirancang untuk mengklasifikasikan domain dan konten situs web ke dalam empat kategori: jinak (benign), perjudian (gambling), pornografi (pornography), dan berbahaya (harmful). Dataset yang digunakan berasal dari Common Crawl dan sumber relevan lain, telah dikurasi dan dilabeli secara otomatis dengan reasoning hasil distilasi DeepSeek-R1 untuk mencerminkan skenario dunia nyata. Evaluasi sistem dilakukan menggunakan metrik presisi, recall, F1-score, dan akurasi. Hasil eksperimen menunjukkan bahwa model Qwen3-4B yang di fine-tuning dengan knowledge distillation mampu mencapai akurasi hingga 96,25% dan F1-Makro 0,8378, menandakan peningkatan signifikan dibandingkan baseline. Penelitian ini membuktikan efektivitas transfer pengetahuan dari DeepSeek-R1 ke Qwen3 dalam meningkatkan performa klasifikasi situs web berbahaya, serta memberikan kontribusi pada pengembangan sistem deteksi berbasis LLM yang lebih adaptif dan transparan.

---

This study aims to develop a malicious website prediction system using Qwen3-based Large Language Model (LLM) fine-tuned through a knowledge distillation process from DeepSeek-R1 model as the teacher. The system is designed to classify website domains and content into four categories: benign, gambling, pornography, and harmful. The dataset used is sourced from Common Crawl and other relevant sources, curated and automatically labeled with reasoning distilled from DeepSeek-R1 to reflect real-world scenarios. System evaluation was conducted using precision, recall, F1-score, and accuracy metrics. Experimental results show that the Qwen3-4B model fine-tuned with knowledge distillation achieved up to 96.25% accuracy and a macro F1-score of 0.8378, indicating a significant improvement over the baseline. This study demonstrates the effectiveness of knowledge transfer from DeepSeek-R1 to Qwen3 in improving malicious website classification performance and contributes to the development of more adaptive and transparent LLM-based detection systems.

"