Hasil Pencarian  ::  Simpan CSV :: Kembali

Abstrak :
Bahasa Isyarat Indonesia (BISINDO) merupakan salah satu bahasa isyarat yang banyak digunakan kaum Tuli di Indonesia karena dianggap lebih alami sehingga lebih mudah digunakan. BISINDO digunakan kaum Tuli untuk berkomunikasi dengan orang lain dalam kegiatan sehari-harinya. Namun, pada kenyataannya, masih banyak orang yang belum mengerti bahasa isyarat. Hal tersebut menjadi kendala bagi orang Tuli untuk berkomunikasi dengan orang dengar dan sebaliknya. Perkembangan teknologi yang semakin maju memberikan suatu solusi untuk masalah tersebut. Pada penelitian ini akan dikembangkan model untuk mengenali gerakan isyarat BISINDO dengan menggunakan MobileNetV2 dan Long Short-Term Memory (LSTM). MobileNetV2 digunakan pada tahap feature extraction sedangkan LSTM digunakan pada tahap klasifikasi gerakan isyarat. Dataset yang digunakan pada penelitian ini berupa video 40 kalimat yang direkam dengan menggunakan kamera smartphone dan diperagakan oleh empat orang Tuli dari Laboratorium Riset Bahasa Isyarat FIB UI (LRBI FIB UI). Terdapat tahapan preprocessing untuk mendapatkan bagian tangan dan wajah yang merupakan fitur penting untuk membedakan gerakan isyarat. Penelitian ini menghasilkan model LSTM 1-layer bidirectional sebagai model terbaik dengan akurasi tertinggi sebesar 91,53%. ......Indonesian Sign Language (BISINDO) is a sign language that is widely used by deaf people in Indonesia because it is a natural language and therefore it is easier to use. BISINDO is used by deaf people to communicate in their daily activities. However, in reality, there are many people who do not understand sign language. This becomes a problem for deaf people to communicate with hearing people and vice versa. Nowadays, the development of technology is more advanced give a solution to this problem. In this research, a model will be developed to recognize BISINDO gestures using MobileNetV2 and Long Short-Term Memory (LSTM). MobileNetV2 will be used in a feature extraction stage while LSTM will be used in the gesture classification stage. The dataset used in this study is a video recording of 40 sentences recorded using a smartphone camera and it was demonstrated by four deaf people from the research laboratory of sign language FIB UI (LRBI FIB UI). There is a preprocessing stage to get the hand and facial parts which are important features for distinguishing the gesture of sign language. Then, the result of this study is a model LSTM 1-Layer Bidirectional as the best model with the highest accuracy is 91,53%.

Abstrak :
Bahasa Isyarat Indonesia atau BISINDO adalah bahasa yang sering ditemukan di kalangan Teman Tuli maupun Teman Inklusi dibentuk oleh Teman Tuli dan muncul secara alami berdasarkan pengamatan Teman Tuli yang menyebabkan BISINDO sendiri memiliki variasi atau dialek di berbagai daerah dan BISINDO disampaikan dengan gerakan dua tangan. BISINDO sendiri dapat digunakan sebagai dataset pada metode deep learning seperti LSTM. Di mana pada BISINDO terdapat gerakan dinamis yang membuatnya sulit untuk dilakukan dengan metode CNN. Dengan LSTM dan menggabungkan nya dengan library dari MediaPipe dan Streamlit kita dapat membuat model deep learning yang dapat mendeteksi gerakan secara real-time, akurasi yang baik dan dapat diakses melalui browser. Pada penelitian dibuat rancangan dan pengujian untuk mendeteksi BISINDO secara real-time dengan metode LSTM di bantu dengan library MediaPipe Holistic untuk mendeteksi landmark dari wajah, pose, dan tangan serta Streamlit untuk dapat membuat model diakses melalui browser. Metrik evaluasi yang digunakan pada penelitian ini adalah data dari akurasi, validasi akurasi, loss, validasi loss, confusion matrix, dan classification report untuk mendapatkan data presisi, recall, akurasi, dan f1-score. Pada training model dengan 130 epochs didapat loss 6.19%, akurasi 98.23%, validasi loss 4.58%, dan validasi akurasi 100% serta pengujian model secara real-time yang berhasil dilakukan dengan Visual Studio Code dan browser dengan Streamlit. ......Indonesian Sign Language or BISINDO is a language that is often found among Deaf Friends and Inclusion Friends formed by Deaf Friends and appears naturally based on the observations of Deaf Friends which causes BISINDO itself to have variations or dialects in various regions. BISINDO is conveyed with two hand gestures. BISINDO itself can be used as a dataset in deep learning methods such as LSTM. Whereas in BISINDO there is a dynamic movement which makes it difficult to do with the CNN method. With LSTM and combining it with libraries from MediaPipe and Streamlit, we can create deep learning models that can detect motion in real-time, have good accuracy, and can be accessed via a browser. In this research, a design and test were made to detect BISINDO in real-time with the LSTM method assisted by the MediaPipe Holistic library to detect landmarks from faces, poses, and hands and Streamlit to be able to make models accessible via a browser. The evaluation metrics used in this study are data from accuracy, accuracy validation, losses, validation losses, confusion matrices, and classification reports to obtain data on precision, gain, accuracy, and f1-score. The training model with 130 epochs obtained 6.19% loss, 98.23% accuracy, 4.58% loss validation, and 100% accuracy validation and real-time model testing which was successfully carried out with Visual Studio Code and a browser with Streamlit.

Abstrak :
Perbedaan media komunikasi yang digunakan antara komunitas tuli dengan masyarakat normal menjadi pembatas dalam menjalin komunikasi antar keduanya. Untuk mengatasi hal ini, diperlukan suatu alat penerjemah yang dapat menerjemahkan bahasa isyarat Indonesia (Bisindo) yang biasa digunakan oleh komunitas tuli di Indonesia ke bahasa lisan dan sebaliknya. Penelitian ini akan berkontribusi pada pembentukan alat penerjemah tersebut dengan menerjemahkan kalimat dalam format Bisindo menjadi kalimat bahasa Indonesia secara satu arah. Penerjemahan dilakukan dengan dua metode berbeda, yaitu penerjemahan berbasis statistik menggunakan model neural machine translation (NMT) dan penerjemahan berbasis aturan. Khusus untuk penerjemahan berbasis aturan, penelitian ini hanya akan berfokus pada sebuah tahapan saja yaitu penambahan preposisi. Selain itu, penelitian ini juga memaparkan metode pembentukan dataset yang menyerupai karakteristik Bisindo dari dataset Indonesia menggunakan aturan-aturan sederhana untuk mengatasi minimnya ketersediaan dataset tersebut. Model NMT terbaik pada eksperimen ini memperoleh peningkatan nilai SacreBLEU sekitar 56%, serta penurunan nilai WER sekitar 7% dari nilai awal yang diperoleh pada dataset testing secara langsung. Di sisi lain, penerjemahan berbasis aturan memperoleh peningkatan nilai SacreBLEU sekitar 1.1% serta penurunan nilai WER sekitar 9.7% dari nilai awal. Sebagai tambahan, model tersebut memperoleh nilai precision sebesar 0.436 dan nilai recall sebesar 0.340 pada performanya dalam menambahkan preposisi secara spesifik. ......The difference of communication methods used by the deaf community and the society becomes a boundary that limits the communication between the two. In order to tackle this issue, we need a tool that can translate sign language (especially bahasa isyarat Indonesia or Bisindo which is commonly used by the deaf community in Indonesia) to oral language and vice versa. This experiment will contribute to such tool by building a tool to translate sentences in Bisindo format to Bahasa Indonesia in one direction. Translation is done using two different methods: statistic-based translation using neural machine translation (NMT) models and rule-based translation. Specific to the rule-based approach, we will only focus on one step of the translation process which is adding prepositions. Aside of that, we also propose a method in building Bisindo-like dataset from Bahasa Indonesia dataset in order to handle the low availability of it. The best NMT model in this experiment achieved an improvement around 56% in SacreBLEU and a decrease around 7% in WER compared to the initial metrics value that we got directly from the testing dataset. On the other side, rule-based translation achieved an improvement around 1.1% in SacreBLEU and a decrease around 9.7% in WER compared to the initial metrics value. In addition, the model achieved 0.436 precision score and 0.340 recall score specific to its performance in adding preposition.