Penelitian ini bertujuan untuk melakukan pengembangan model untuk validasi berita berbahasa Indonesia yang dihasilkan oleh komponen generator berita pada proyek Au- tomatic Indonesian News Generation System (AINGS). Terdapat dua pendekatan dalam penelitian ini, yakni pendekatan Large Language Model (LLM) generatif dan pendekatan model tugas Natural Language Inference (NLI). Dataset pada penelitian ini berasal dari berita pada media digital Indonesia dengan kategori berita olahraga dan fenomena alam. Model LLM generatif yang digunakan adalah BLOOM dan XGLM. Sementara itu model yang digunakan dalam tugas NLI adalah LLM contextualized pre-trained IndoBERT, mBERT, XLM-RoBERTa, dan mDeBERTa-V3. Aturan klasifikasi tambahan diperlukan sebagai tahapan post-processing dari pendekatan NLI untuk klasifikasi tingkat berita. Ke- dua hasil evaluasi pendekatan akan dibandingkan dengan hasil evaluasi pengujian validasi oleh manusia. Penelitian ini menunjukkan bahwa performa dari pendekatan basis tugas NLI lebih baik dibandingkan dengan pendekatan LLM generatif. Performa model ter- baik pendekatan NLI yaitu IndoBERTLARGE−P1 mencapai performa akurasi 94,70%, se- dangkan model terbaik pendekatan LLM generatif yakni BLOOM − 3B mencapai akurasi tertinggi pada 84,11%. Meskipun demikian, penelitian ini menunjukkan bahwa kedua pendekatan di atas belum dapat melampaui performa validasi oleh manusia. Performa pendekatan terbaik penelitian ini yakni model berbasis NLI memiliki performa akurasi 94,70% yang memiliki selisih 3% dari akurasi pengujian manusia dengan akurasi 97,36%. Dengan selisih nilai akurasi yang kecil di atas, penelitian ini menunjukkan bahwa pen- dekatan penggunaan LLM dengan basis tugas NLI dapat menjadi solusi yang baik dalam tugas validasi berita generatif berbahasa Indonesia.

---

This research aims to develop a model for validating Indonesian news generated by the news generator component in the Automatic Indonesian News Generation System (AINGS) project. Two approaches are employed in this study: the Generative Large Language Model (LLM) approach and the Natural Language Inference (NLI) task model approach. The dataset is derived from Indonesian digital media covering sports and na- tural phenomena news categories. The generative LLM models utilized are BLOOM and XGLM, while the NLI task models include contextualized pre-trained LLMs such as In- doBERT, mBERT, XLM-RoBERTa, and mDeBERTa-V3. Additional classification rules are implemented as a post-processing step in the NLI approach for news level classifi- cation. The evaluation results of both approaches are compared with human validation test results. The findings indicate that the NLI-based approach outperforms the genera- tive LLM approach. The best-performing NLI model, IndoBERTLARGE−P1, achieves an accuracy of 94,70%, whereas the top-performing generative LLM model, BLOOM−3B, attains the highest accuracy of 84,11%. Nevertheless, both approaches fall short of sur- passing human validation performance. The best-performing model in this study, an NLI- based model, achieves an accuracy of 94,70%, exhibiting a 3% difference from human testing accuracy, which is 97,36%. With this marginal difference in accuracy, the study suggests that employing LLMs with an NLI-based approach can be a viable solution for validating generative Indonesian news articles.