Hasil Pencarian  ::  Simpan CSV :: Kembali

Abstrak :
Penelitian pada pengolahan bahasa manusia tentang resolusi kata ganti yang membutuhkan penalaran menjadi sangat penting agar mesin mampu menyelesaikan tugas dengan tingkat kesulitan yang lebih tinggi dari resolusi kata ganti biasa. Mesin dituntut untuk mampu menyelesaikan tugas tersebut yang membutuhkan penalaran seperti yang dimiliki otak manusia. Penelitian tentang ini sudah berjalan selama satu dekade terakhir pada Bahasa Inggris, yang disebut dengan the Winograd Schema Challenge (WSC). Namun, sepanjang pencarian kami, belum ditemukan sama sekali penelitian tentang ini pada Bahasa Indonesia. Kami menginisiasi penelitian tentang WSC pada Bahasa Indonesia dengan membangun dataset baru yang diadaptasi dari dataset WSC berbahasa Inggris yang sudah ada. Dataset baru ini diberi nama IndoGrad (Indonesian Winograd). IndoGrad memiliki 1.134 data latih, 284 data validasi, dan 318 data uji dengan format cloze-style. Untuk menguji kelayakan data ujinya, IndoGrad diujikan kepada tiga orang manusia pemegang gelar sarjana dan disimpulkan bahwa data ujinya bisa dijawab oleh manusia dengan akurasi tinggi. Performa manusia secara Full-Agreement yang didapatkan adalah 94,0% akurasi dan secara Majority-Agreement adalah 97,8% akurasi. Kelayakan data latihnya disimpulkan dari bisanya data latih dipelajari oleh model sehingga mendapatkan training accuracy mendekati 100%. Dua belas pretrained models berbasis BERT diuji untuk mengukur performa mereka terhadap dataset ini. Performa deep learning model terbaik yang didapatkan adalah 62,58% akurasi oleh IndoBERT-Large dan 68,86% akurasi oleh XLM-RoBERTa-Large. Hasil ini masih jauh dari performa manusia dan perlu penelitian lebih lanjut di masa depan. ......Natural Language Processing (NLP) study on coreference resolution with commonsense reasoning becomes very important to make machines capable of tackling high-difficulty coreference resolution. Machines are required to complete the task that needs reasoning, like the human brain. Study on this topic has been running for the last decade on English, named the Winograd Schema Challenge (WSC). However, as far as our search goes, we did not find any study on this in Indonesian. We initiate the first study about WSC in Indonesian by building a new dataset adapted from the previouly available English WSC dataset. This new dataset is named as IndoGrad (Indonesian Winograd). IndoGrad has 1,134 training data, 284 validation data, and 318 testing data in cloze-style format. To determine the feasibility of the testing data, IndoGrad was tested on three humans holding bachelor's degrees and it was concluded that the testing data could be answered by humans with high accuracy. The human performance achieved are 94,0% Full-Agreement Accuracy and 97,8% Majority-Agreement Accuracy. The feasibility of the training data is concluded from its ability to be studied by the model so that the training accuracy is close to 100%. Twelve BERT-based pretrained models were tested to measure their performance against this dataset. The best deep learning model performance achieved are 62,58% accuracy by IndoBERT-Large and 68,86% accuracy by XLM-RoBERTa-Large. This result is far from human performance and it needs further study in the future.

Abstrak :
Model natural language processing (NLP) ditantang tidak hanya memiliki kemampuan “mengingat” secara statistik, tapi juga dapat melakukan semantic reasoning mendekati kemampuan manusia dalam memahami bahasa. Tugas ini disebut juga sebagai tugas yang menguji penalaran (commonsense reasoning) untuk suatu model. Tugas commonsense reasoning pada bahasa Indonesia sudah ada, tetapi performa mesin pada tugas tersebut masih terbilang rendah. Penelitian ini mencoba meningkatkan performa mesin dalam tugas commonsense reasoning bahasa Indonesia. Digunakan tiga buah metode, yaitu intermediate-task transfer learning, cross-lingual transfer learning, dan task recasting. Ditemukan kalau intermediate-task transfer learning efektif dilakukan untuk data commonsense reasoning bahasa Indonesia, dengan peningkatan performa di berbagai tugas. Metode cross-lingual transfer learning juga ditemukan sangat efektif dilakukan. Didapatkan performa yang melebihi baseline pada tugas IndoGrad hanya dengan melatih model dalam data bahasa Inggris dan melakukan klasifikasi secara zero-shot pada data bahasa Indonesia. Lalu didapatkan juga performa state-of-the-art (SOTA) baru dalam IndoGrad yaitu 0.803, naik 0.116 dari performa tertinggi penelitian sebelumnya. Performa tersebut dicapai menggunakan model yang dilakukan fine-tuning pada data bahasa Indonesia setelah dilatih dengan data bahasa Inggris. Pada metode task recasting, performa model masih rendah dan didapatkan performa chance pada data uji. Dilakukan juga penjelasan terhadap model dalam menjawab tugas commonsense reasoning bahasa Indonesia. Penjelasan dilakukan dengan visualisasi attention dan probing task. Ditemukan model mendapatkan kenaikan performa dalam probing task ketika performa pada tugas commonsense reasoning juga naik. Ditemukan juga model dapat menjawab dengan benar dengan memberikan attention yang lebih besar ke pada jawaban yang benar dan mengurangi attention pada jawaban yang salah. ......A natural language processing (NLP) model is challenged to not only ’remember’ statistically, but can also perform semantic reasoning close to human ability on language understanding. This task is also known as a commonsense reasoning task. Commonsense reasoning tasks in Indonesian already exist, but the machine performance is still relatively low. This research aims to improve the machine performance on commonsense reasoning tasks in Indonesian. Three methods are used: intermediate-task transfer learning, cross-lingual transfer learning, and task recasting. It was found that intermediate-task transfer learning was effective for commonsense reasoning tasks in Indonesian, with improved performance on various tasks. Cross-lingual transfer learning was also found to be very effective. A model that only trained on English data and performs zero-shot classification was found to have performance that exceeds baseline on the IndoGrad task. A new state-of-the-art (SOTA) performance was also achieved on the IndoGrad task, which is 0.803, up 0.116 from the highest performance in the previous study. This result is achieved using a model that was fine-tuned on Indonesian data after being trained on English data. On the task recasting method, the model performance is still low and chance performance is achieved on the test set. Model explanation on answering a commonsense reasoning task in Indonesian is also conducted. Probing task and attention visualization are used for model explanation. It was found that the model that got increased performance on probing task also got increased performance on commonsense reasoning task. It was also found that the model can answer correctly by giving more attention to the correct answer and reducing attention to the incorrect answer.