UI - Disertasi Membership :: Kembali

UI - Disertasi Membership :: Kembali

Pengembangan Algoritma Verifikasi Fakta Dengan Pendekatan Model Deep One Directional Neural Semantic Siamese Network Dan Transformer Ensemble = Development Of Fact-Verification Algorithm Using Deep One-Directional Neural Semantic Siamese Network And Transformer Ensemble Approach

Muchammad Naseer; Riri Fitri Sari, promotor; Muhamad Asvial, co-promotor; Kalamullah Ramli, examiner; Bagio Budiardjo, examiner; Muhammad Salman, examiner; Mia Rizkinia, examiner; Prima Dewi Purnamasari, examiner; Suhaidi B. Hassan, examiner (Fakultas Teknik Universitas Indonesia, 2025)

 Abstrak

Deteksi informasi menjadi langkah krusial untuk melawan penyebaran berita palsu. Sistem deteksi berita palsu konvensional menghasilkan dua keputusan: apakah berita palsu atau asli, begitu pula hasil pengecekan fakta hanya menentukan apakah informasi benar atau salah. Verifikasi fakta menyajikan tiga kemungkinan hasil: informasi didukung bukti (SUPPORTS), dibantah bukti (REFUTES), atau tidak ada cukup bukti untuk mendukung maupun membantah informasi (NOT ENOUGH INFORMATION).
Penelitian ini dimulai dengan menguji performa algoritma BERT, RoBERTa, dan Electra, dengan RoBERTa menunjukkan hasil terbaik. RoBERTa kemudian dikembangkan menjadi RoBERTaEns, sebuah algoritma yang diperkenalkan dalam penelitian ini, melalui penggabungan keunggulan model RoBERTa dengan pendekatan homogeneous ensemble pada FEVER Dataset. Model ini menggabungkan tiga arsitektur RoBERTa (RoBERTa-m1, m2, m3) menggunakan metode bagging ensemble dan persamaan linier untuk meningkatkan ketahanan, membatasi bias, serta mengoptimalkan biaya dan kompleksitas komputasi. RoBERTaEns dibandingkan dengan BERT, XL-Net, dan XLM, menghasilkan akurasi 78,4% dan F1-Score 84,2%, melampaui algoritma lain.
Penelitian juga mengevaluasi algoritma khusus untuk tugas verifikasi fakta, yaitu Neural Semantic Matching Networks (NSMN), dengan performa rendah (akurasi 69,43%) yang berdasarkan hipotesis diakibatkan dari overfitting yang disebabkan oleh BiLSTM dalam arsitekturnya. Untuk mengatasi ini, model Deep One-Directional Neural Semantic Siamese Network (DOD-NSSN) berbasis Siamese MaLSTM diperkenalkan. Model ini menggunakan Manhattan Fact Relatedness Score (MFRS) sebagai fact-relatedness score baru yang juga diperkenalkan dalam penelitian ini untuk prediksi klasifikasi akhir. Saat dibandingkan dengan NSMN, BERT, RoBERTa, XLM, dan XLNet, DOD-NSSN menunjukkan akurasi tertinggi (91,86%). Hal ini membuktikan bahwa DOD-NSSN cocok untuk klasifikasi data tekstual dan meningkatkan akurasi verifikasi fakta. Studi ini berkontribusi signifikan dalam pengembangan algoritma berbasis transformer (RoBERTaEns), dan neural network (DOD-NSSN), serta dalam menghasilkan metrik pengukuran jarak kedekatan antara klaim dan evidence (MFRS) untuk mekanisme verifikasi fakta dengan akurasi yang baik.

Information detection is a crucial step in combating the spread of fake news. Conventional fake news detection systems typically produce two decisions: whether the news is fake or real, and fact-checking results determine whether the information is true or false. Fact verification, however, provides three possible outcomes: information supported by evidence (SUPPORTS), refuted by evidence (REFUTES), or insufficient evidence to either support or refute the information (NOT ENOUGH INFORMATION).
This study was started by evaluating the performance of the BERT, RoBERTa, and Electra algorithm were compared, with RoBERTa demonstrating superior results. Building upon these findings, RoBERTa was extended into RoBERTaEns, an algorithm introduced in this study, by combining the strengths of the RoBERTa model using a homogeneous ensemble approach on the FEVER Dataset. This model integrates three RoBERTa architectures (RoBERTa-m1, m2, m3) using the bagging ensemble method and linear equations to enhance robustness, reduce bias, and optimize computational cost and complexity. RoBERTaEns was benchmarked against BERT, XL-Net, and XLM, achieving an accuracy of 78,4% and an F1-Score of 84,2%, outperforming other algorithms.
The study also evaluated a specialized algorithm for fact verification tasks, i.e., Neural Semantic Matching Networks (NSMN), which exhibited low performance (accuracy 69.43%). This underperformance was hypothesized to result from overfitting caused by the BiLSTM architecture. To address it, a novel model, Deep One-Directional Neural Semantic Siamese Network (DOD-NSSN), based on Siamese MaLSTM, was introduced. The model used Manhattan Fact Relatedness Score (MFRS) as a newly introduced fact-relatedness score in this study for final classification predictions. DOD-NSSN was tested against NSMN, BERT, RoBERTa, XLM, and XL-Net, achieving the highest accuracy (91,86%), demonstrating the suitability of DOD-NSSN for textual data classification and enhancing fact verification accuracy. This study contributes significantly to the development of transformer-based algorithm (RoBERTaEns), and neural network algorithm (DOD-NSSN), also in producing metrics for measuring the relatedness between claims and evidence (MFRS) for fact verification mechanisms with good accuracy.

 File Digital: 1

Shelf
 D-Muchammad Naseer,.pdf :: Unduh

LOGIN required

 Metadata

Jenis Koleksi : UI - Disertasi Membership
No. Panggil : D-pdf
Entri utama-Nama orang :
Entri tambahan-Nama orang :
Entri tambahan-Nama badan :
Program Studi :
Subjek :
Penerbitan : Depok: Fakultas Teknik Universitas Indonesia, 2025
Bahasa : ind
Sumber Pengatalogan : LibUI ind rda
Tipe Konten : text
Tipe Media : computer
Tipe Carrier : online resource
Deskripsi Fisik : xx, 124 pages : illustration
Naskah Ringkas :
Lembaga Pemilik : Universitas Indonesia
Lokasi : Perpustakaan UI
  • Ketersediaan
  • Ulasan
  • Sampul
No. Panggil No. Barkod Ketersediaan
D-pdf 07-25-75288730 TERSEDIA
Ulasan:
Tidak ada ulasan pada koleksi ini: 9999920568407
Cover