"Di era kemajuan teknologi yang pesat, pembelajaran daring semakin populer terutama setelah COVID-19. Namun, tunarungu sering menghadapi kesenjangan dalam memahami video pembelajaran. Salah satu solusi yang dapat membantu adalah dengan menyediakan subtitle dalam bahasa isyarat, khususnya Sistem Isyarat Bahasa Indonesia (SIBI). Untuk mengembangkan subtitle ini, diperlukan teks input dari video pembelajaran. Namun, teks input seringkali terlalu panjang dan mengandung banyak kata yang tidak ada dalam kamus bahasa isyarat SIBI. Metode yang ada sekarang pun menghasilkan animasi SIBI secara kata demi kata, yang mengakibatkan animasi bergerak cepat dan sulit diikuti oleh pengguna tunarungu. Penelitian ini membahas integrasi translasi teks dalam pengembangan subtitle animasi isyarat SIBI untuk aplikasi Moodle, menggunakan machine learning. Penelitian ini bertujuan untuk mengembangkan solusi yang lebih efektif dengan menerapkan terjemahan teks. Penelitian ini mengusulkan penggunaan dua model pretrained, yaitu mBART50 dan NLLB200 sebagai baseline model dan model yang akan di-finetuning. Eksperimen ini menggunakan dataset yang dikumpulkan dari 12 video pembelajaran. Kemudian data ini diproses, dianotasi oleh guru Sekolah Luar Biasa (SLB), dan digunakan untuk training, validation, serta testing dan dataset ini dinamakan SIBIVID-MP12. Eksperimen dilakukan dengan membandingkan model baseline dengan model yang sudah di-finetuning. Finetuning dilakukan dengan dan tanpa custom loss function yang merupakan inovasi pada penelitian ini. Custom loss function menambahkan SIBIDictLoss pada total loss model, sehingga akan memaksa model untuk hanya menggunakan kata yang ada pada kamus SIBI. Hasil eksperimen menunjukkan bahwa dengan adanya finetuning, model mBART50 dan NLLB200 mengalami peningkatan performa dibandingkan model baseline-nya tanpa finetuning dalam melakukan terjemahan teks Bahasa Indonesia ke dalam SIBI. Model NLLB200 FT+CL dengan varian batch size 4, penggunaan weighting varian kedua, ukuran weight 0,2, dan besaran penalti 0,1 menjadi varian dengan nilai evaluasi tertinggi dengan peningkatan nilai sacreBLEU sebesar 71%, nilai chrF++ sebesar 9,79%, nilai METEOR 22,92%, dan nilai ROUGE-L 14,55% dibandingkan dengan model baseline. Ini menunjukkan bahwa mengintegrasikan model terjemahan teks dapat meningkatkan inklusivitas dan aksesibilitas platform pembelajaran daring bagi komunitas tunarungu di Indonesia.
In the era of rapid technological advancement, online learning has become increasingly popular, particularly following the COVID-19 pandemic. However, the deaf community often faces challenges in comprehending educational videos. One potential solution is to provide subtitles in sign language, specifically the Indonesian Sign Language System (SIBI). Developing these subtitles requires text input from educational videos. However, the input text is often too lengthy and contains many words that do not exist in the SIBI dictionary. Current methods generate SIBI animations word by word, resulting in fastmoving animations that are difficult for deaf users to follow. This research discusses the integration of text translation in the development of SIBI animated subtitles for the Moodle application, using machine learning. The study aims to develop a more effective solution by implementing text translation. The research proposes the use of two pretrained models, mBART50 and NLLB200, as baseline models and models for fine-tuning. The experiment utilizes a dataset collected from 12 educational videos. This data is processed, annotated by Special Education (SLB) teachers, and used for training, validation, and testing, and is named SIBIVID-MP12. Experiments were conducted by comparing the baseline models with the fine-tuned models. Fine-tuning was performed with and without a custom loss function, which is an innovation in this study. The custom loss function adds SIBIDictLoss to the total model loss, thereby compelling the model to use only words present in the SIBI dictionary. The experimental results show that with fine-tuning, both mBART50 and NLLB200 models demonstrated improved performance compared to their baseline models in translating Indonesian text into SIBI. The NLLB200 FT+CL model, with a batch size variant of 4, the second weighting variant, a weight size of 0.2, and a penalty size of 0.1, achieved the highest evaluation scores, with an increase in sacreBLEU score by 71%, chrF++ score by 9.79%, METEOR score by 22.92%, and ROUGE-L score by 14.55% compared to the baseline model. This indicates that integrating text translation models can enhance the inclusivity and accessibility of online learning platforms for the deaf community in Indonesia."
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2024
