Hasil Pencarian  ::  Simpan CSV :: Kembali

"Kemampuan berkomunikasi menggunakan bahasa isyarat sangat penting bagi kaum tunarungu dan tunawicara. Rendahnya persentase rakyat Indonesia yang menguasai bahasa isyarat menjadi latar belakang pengembangan aplikasi penerjemah Sistem Isyarat Bahasa Indonesia (SIBI) menjadi teks. Sistem penerjemah bahasa isyarat menjadi teks dikembangkan menggunakan MediaPipe Hands dengan konfigurasi default dan Convolutional Neural Network (CNN) sebagai classifier hasil recognition MediaPipe. Sistem tersebut diimplementasikan menjadi aplikasi berbasis Android untuk menerjemahkan bahasa isyarat SIBI menjadi teks secara real-time. Dari hasil pengujian sistem penerjemah yang dikembangkan menggunakan 3.803 data landmark tangan dengan rasio training, validation, dan testing sebesar 70:15:15, diperoleh tingkat akurasi model training sebesar 98.57% dengan tingkat akurasi model testing sebesar 92.59%. Aplikasi penerjemah SIBI menjadi teks dapat dijalankan secara real-time dengan jumlah frame kamera yang dapat diproses sekitar 20 frame per detik. Pada pengujian aplikasi dalam menerjemahkan SIBI menjadi teks, diperoleh akurasi sebesar 96.92%. Perbedaan gestur tangan yang ditangkap oleh kamera ketika berbahasa isyarat menjadi kekurangan pada aplikasi yang menyebabkan teks yang diterjemahkan kadang tidak sesuai. Saran untuk pengembangan lebih lanjut yaitu meningkatkan performa model SIBI dan menambah jumlah bahasa isyarat yang dapat diterjemah.

---

The ability to communicate with sign language becomes very important for disabilities who cannot hear or speak. The low percentage of Indonesian societies who are not able to understand Indonesian sign language becomes the background of the SIBI recognizer application development. SIBI recognizer system is developed using MediaPipe Hands with default configuration and Convolutional Neural Network (CNN) as the classifier of MediaPipe recognition result. The system is implemented to an Android based application project for real-time SIBI sign language to text recognition. The SIBI recognizer system model developed with 3.803 data of hand landmarks with training, validation, and testing ratio of 70:15:15 achieves the training accuracy of 98.57% and testing accuracy of 92.59%. The SIBI recognizer application can perform in real-time with average number of 20 frames per second. The application testing results in accuracy of 96.92%. The hand gesture difference caught by the camera when performing sign language becomes the drawback of the application, hence the translated text sometimes mismatched. Suggestions for the future development include improving SIBI model performance and increasing the number of sign languages to be translated."

"Bahasa isyarat menjadi sarana utama bagi penyandang tunarungu untuk berkomunikasi. Kemampuan penyandang tunarungu untuk beradaptasi dengan lingkungannya ditentukan dari seberapa baik komunikasi dua arah dapat dilakukan dengan bahasa isyarat. Adanya smartphone sebagai teknologi yang umum digunakan masyarakat luas dapat menjadi sarana bagi masyarakat untuk berkomunikasi dengan penderita tunarungu. Penelitian ini berfokus pada pengembangan aplikasi yang mampu mengimplementasikan sistem penerjemah SIBI pada smartphone Android. Penelitian ini menggunakan hasil freeze model yang dikembangkan oleh peneliti sebelumnya yaitu MobileNetV2, CRF, dan LSTM. Ketiga model tersebut berjalan sebagai serangkaian proses dan digunakan untuk memproses data video gerakan isyarat. Keluaran dari sistem penerjemah ini adalah terjemahan isyarat dalam bentuk teks. Penelitian ini juga melakukan percobaan untuk meningkatkan kinerja MobileNetV2 dengan menerapkan parallel processing dengan dua hingga empat inference. Berdasarkan hasil percobaan, sistem penerjemah yang dikembangkan mampu menerjemahkan bahasa isyarat dengan akurasi kata 90,560%, akurasi kalimat 64%, dan waktu penerjemahan rata- rata 20 detik. Penggunaan parallel processing dapat meningkatkan kinerja MobileNetV2 sebesar 54%.

---

Sign language is the main media for deaf people to communicate. The ability of people with hearing impairment to adapt to their environment is determined by how well two-way communication can be done with sign language. The existence of a smartphone as a technology that is commonly used by the wider community can be a means for the community to communicate with people with hearing impairment. This research focuses on developing applications that is able to implement the SIBI translator system on Android smartphones. This study uses the results of the freeze model developed by previous researchers, which are MobileNetV2, CRF, and LSTM. The three models operate as a series of processes and are used to process sign language gesture video. The output of this translator system is sign language translation in text form. This study also conducted an experiment to improve the performance of MobileNetV2 by implementing parallel processing with two to four inferences. Based on the experimental results, the translator system developed was able to translate sign language with an word accuracy of 90.560%, sentence accuracy 64%, and an average translation time of 20 seconds. The use of parallel processing can improve the performance of MobileNetV2 by 54%."

"Bahasa yang dapat diakses anak tunarungu secara natural adalah bahasa isyarat. Pada usia kritis, anak perlu secara reguler medapat pemaparan bahasa yang dapat diakses atau anak akan mengalami kendala dalam berbahasa yang berujung pada kendala lain. Namun, banyak orang tua mendengar yang belum menyadari sepenuhnya metode yang baik dalam mengajarkan dan berkomunikasi dengan bahasa isyarat. Penelitian ini bertujuan memberikan solusi bagi para orang tua anak tunarungu mempelajari bahasa isyarat agar dapat mendidik dan berkomunikasi dengan anak melalui bahasa yang dapat diakses anak tunarungu. Pengembangan desain antarmuka solusi aplikasi ini menggunakan metode user-centered design. Pengumpulan masalah dan kebutuhan dilakukan dengan melakukan wawancara dengan orang tua anak tunarungu dan wawancara dengan psikolog. Setelah desain antarmuka dibuat dalam bentuk prototipe, dilakukan evaluasi kualitatif dengan usability testing dan kuantitatif dengan System Usability Scale (SUS). Berdasarkan hasil evaluasi yang diberikan pengguna, aplikasi pembelajaran bahasa isyarat untuk orang tua memiliki usability yang cukup baik dan memiliki skor SUS yang cukup tinggi.

---

The language that deaf children can naturally access is sign language. At the critical age, children need to start learning their accessible language otherwise children will have language deprivation that can leads to other cognitive problems. However, many hearing parents do not understand good methods on how to teach children and communicating with sign language. This research provides a solution for parents of deaf children to learn basic of language that is accessible for deaf children, sign language. The interface of this application was designed using user-centered design approach. Requirement gathering was done by conducting interviews with parents of deaf children and interview with a psychologist. After the prototype was made, the design evaluated qualitatively by conducting usability testing and quantitatively using System Usability Scale (SUS). Based on the evaluation results, sign language learning application for parents have overall good usability and have a fairly high SUS score."

"SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM.

---

SIBI is a sign language that is officially used in Indonesia. The use of SIBI is often found to be a problem because of the many gestures that have to be remembered. This study aims to recognize SIBI gestures by extracting hand and facial features which are then classified using Bidirectional Long ShortTerm Memory (BiLSTM). The feature extraction used in this research is Deep Convolutional Neural Network (DeepCNN) such as ResNet50 and MobileNetV2, where both models are used as a comparison. This study also compares the performance and computational time between the two models which is expected to be applied to smartphones later, where both models can now be implemented on smartphones. The results showed that the use of ResNet50-BiLSTM model have better performance than MobileNetV2-BiLSTM which is 99.89\%. However, if it will be applied to mobile architecture, MobileNetV2-BiLSTM is superior because it has a faster computational time with a performance that is not significantly different when compared to ResNet50-BiLSTM."

"Keterbatasan mendengarkan suara tunarungu menyebabkan kemampuan berbahasa penyandang tunarungu tidak dapat berkembang sebagaimana mestinya. Untuk mengganti komunikasi lisan penyandang tunarungu menggunakan bahasa isyarat dalam berkomunikasi. SIBI (Sistem Isyarat Bahasa Indonesia) adalah salah satu sistem bahasa isyarat di Indonesia yang bekerja dengan merepresentasikan tata bahasa lisan Indonesia ke dalam isyarat gerakan. Perkembangan teknologi aplikasi mobile yang pesat merupakan sebuah peluang untuk dapat menyediakan aksesibilitas pada penyandang tunarungu. Oleh karena itu, penelitian ini membahas pengembangan aplikasi mobile untuk menerjemahkan teks Bahasa Indonesia menjadi gerakan isyarat SIBI. Penelitian ini membahas mengenai pengembangan aplikasi mobile berdasarkan penelitian Darmana (2019) tentang pembangkitan gerakan isyarat SIBI. Penelitian ini menerapkan metode desain user centered design (UCD) yang dilakukan dalam 2 kali iterasi yang berisi tahapan analisis kebutuhan pengguna, perancangan desain interaksi, pengembangan aplikasi, evaluasi, dan perbaikan aplikasi. Proses pengembangan desain dan implementasi aplikasi didasarkan kepada kebutuhan pengguna yang didapatkan melalui wawancara. Pada penelitian dilakukan 2 kali evaluasi pada aplikasi untuk mendapatkan umpan balik yang digunakan sebagai dasar perbaikan. Pada akhir penelitian juga dilakukan uji usability menggunakan SUS dan uji waktu eksekusi. Hasilnya, didapatkan bahwa aplikasi hasil berhasil memenuhi kebutuhan pengguna yang didapatkan, dan memiliki usability yang baik.

---

The limitation of listening causes the language skills of people with hearing impairment can not be developed as they should. To replace their verbal communication, people with hearing impairment use sign language to do communication. SIBI (Sistem Isyarat Bahasa Indonesia) is one of the sign language systems in Indonesia that works by representing Indonesian spoken grammar into hand gestures. On the other hand, the rapid development of mobile application technology is an opportunity to provide accessibility to people with hearing impairment. Therefore, this research discusses the development of a mobile application to translate Indonesian text into SIBI gestures. This study discusses the development of mobile applications based on Darmana (2019) research on the generation of SIBI gestures. This study applies the user centered design (UCD) design method which is carried out in 2 iterations that contains the stages of user needs analysis, interaction design, application development, evaluation, and application improvement. The development of application design and the application implementation is based on user needs obtained through interviews. In the study the 2 evaluations are used to get feedbacks that is used as a base for improvement. At the end of the study an SUS test and an execution time test were also conducted. It was found that the application successfully meet the user requirements and has a good usability.

"

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"Tujuan utama dari penelitian yang dilakukan adalah melakukan pengenalan pola isyarat tangan statis dalam bahasa Indonesia. Pengenalan pola isyarat tangan statis dalam bentuk citra secara garis besar dilakukan dalam 3 tahapan yang meliputi: 1) Segmentasi bagian citra yang akan dikenali berupa tangan dan wajah, 2) ekstraksi ciri, dan 3) klasifikasi pola. Data citra yang diterapkan ada 15 kelas kata isyarat statis. Segmentasi dilakukan dengan menggunakan filter HSVdengan ambang berdasarkan warna kulit. Ekstraksi ciri dilakukan dengan dekomposisi wavelet Haar filter sampai level 2. Klasifikasi dilakukan dengan menerapkan sistem jaringan syaraf tiruan perambatan balik dengan arsitektur 4096 neuron pada lapisan input, 75 neuron pada lapisan tersembunyi dan 15 neuron pada lapisan output. Sistem diuji dengan menggunakan 225 data validasi dan akurasi yang dicapai adalah 69%.

---

AbstractThe main objective of this research is to perform pattern recognition of static hand gesture in Indonesian sign language. Basically, pattern recognition of static hand gesture in the form of image had three phases include: 1) segmentation of the image that will be recognizable form of the hands and face, 2) feature extraction and 3) patternclassification. In this research, we used images data of 15 classes of words static. Segmentation is performed using HSV with a threshold filter based on skin color. Feature extraction performed withthe Haar wavelet decomposition filter to level 2. Classification is done by applying the back propagation system of neural network architecture with 4096 neurons in input layer, 75 neurons in hidden layer and 15 neurons in output layer. The system was tested by using 225 data validation and accuracy achieved was 69%."

"Speech Emotion Recognition adalah teknologi yang mampu bisa mendeteksi emosi lewat data suara yang diproses oleh sebuah mesin. Media yang sering digunakan untuk menjadi media interaksi antara 2 orang atau lebih yang saat ini sedang digunakan oleh banyak orang adalah Podcast, dan Talkshow. Seiring berkembangya SER, penelitian terakhir menunjukkan bahwa penggunaan metode Deep Learning dapat memberikan hasil yang memuaskan terhadap sistem SER. Pada penelitian ini akan diimplementasikan model Deep Learning yaitu dengan Recurrent Neural Network (RNN) variasi Long Short Term Memory (LSTM) untuk mengenali 4 kelas emosi (marah, netral, sedih, senang). Penelitian ini menguji model yang digunakan untuk mengenali emosi dari fitur akustik pada data secara sekuensial. Skenario training dan testing dilakukan dengan metode one-against-all dan mendapatkan hasil (1) Dataset talkshow mengungguli dataset podcast untuk tipe 1 dan 2 dan untuk semua emosi yang dibandingkan; (2) Untuk dataset podcast pada emosi marah, senang, dan sedih didapatkan akurasi optimal pada dataset tipe 1 yaitu 67.67%, 71.43%, dan 68,29%, sedangkan untuk emosi netral didapatkan akurasi terbaik pada dataset tipe 2 dengan 77.91%; (3) Untuk dataset talkshow pada emosi marah, netral, dan sedih didapatkan akurasi terbaik pada dataset tipe 2 yaitu 78.13%, 92.0%, dan 100%. Dapat disimpulkan bahwa dataset talkshow secara garis besar memberikan hasil yang lebih optimal namun memiliki variasi data yang lebih sedikit dari dataset podcast. Dari sisi panjang data, pada penelitian ini didapatkan akurasi yang lebih optimum pada dataset dengan tipe 2.

---

Speech Emotion Recognition is a technology that is able to detect emotions through voice data that is processed by a machine. Media that is often used to be a medium of interaction between two or more people who are currently being used by many people are Podcasts, and Talkshows. As SER develops, recent research shows that the use of the Deep Learning method can provide satisfactory results on the SER system. In this study a Deep Learning model will be implemented, this study uses Long Short Term Memory (LSTM) as one of the variation of Recurrent Neural Network (RNN) to recognize 4 classes of emotions (angry, neutral, sad, happy). This study examines the model used to recognize emotions from acoustic features in sequential data. Training and testing scenarios are conducted using the one-against-all method and get results (1) The talkshow dataset outperforms the podcast dataset for types 1 and 2 and for all emotions compared; (2) For the podcast dataset on angry, happy, and sad emotions, the optimal accuracy in type 1 dataset is 67.67%, 71.43%, and 68.29%, while for neutral emotions the best accuracy is obtained in type 2 dataset with 77.91%; (3) For the talkshow dataset on angry, neutral, and sad emotions the best accuracy is obtained for type 2 datasets, namely 78.13%, 92.0%, and 100%. It can be concluded that the talkshow dataset in general gives more optimal results but has fewer data variations than the podcast dataset. In terms of data length, this study found more optimum accuracy in dataset with type 2."

"Bisindo adalah bahasa isyarat yang banyak digunakan oleh komunitas tuli di Indonesia untuk berinteraksi secara nonverbal. Struktur bahasa pada Bisindo sangat berbeda dengan Bahasa Indonesia yang biasa digunakan oleh orang dengar. Hal ini menyebabkan adanya gap antara komunitas tuli dengan orang dengar dalam berkomunikasi. Penelitian ini mengembangkan model pengenal dan penerjemah bahasa isyarat (SLRT) untuk Bisindo dengan menerapkan arsitektur Single Stream Network dan Two Stream Network yang sukses digunakan pada German Sign Language (DGS). Model ini dilatih pada dataset Bisindo-2024 yang berisikan 96 kalimat yang mengandung kata kerja berarah. Penelitian ini menghasilkan model SLRT yang meraih skor 62.30 pada BLEU-4 dan 71.00 pada ROUGE. Hasil penelitian ini menunjukkan bahwa performa Two Stream Network mengungguli Single Stream Network sejauh 10.86 pada BLEU-4 dan 7.01 pada ROUGE. Selain itu, penelitian ini juga membuktikan bahwa pendekatan transfer learning berhasil meningkatkan performa model secara signifikan. Melalui penelitian ini juga dibuktikan bahwa model yang dilatih secara end-to-end memiliki performa yang lebih baik dibanding model pipeline. Penelitian ini adalah yang pertama menerapkan model SLRT pada Bisindo, sehingga memberikan kontribusi baru dalam bidang ini.

---

Bisindo is a sign language widely used by the deaf community in Indonesia to interact nonverbally. The language structure of Bisindo is very different from the Indonesian language commonly used by hearing people. This causes a gap in communication between the deaf community and hearing people. This research develops a sign language recognition and translation model (SLRT) for Bisindo by applying the Single Stream Network and Two Stream Network architectures successfully used in German Sign Language (DGS). This model is trained on the Bisindo-2024 dataset containing 96 sentences with verb agreement. This research produced an SLRT model that achieved scores of 62.30 on BLEU-4 and 71.00 on ROUGE. The results of this research show that the performance of the Two Stream Network outperformed the Single Stream Network by 10.86 on BLEU-4 and 7.01 on ROUGE. Additionally, this research also proves that the transfer learning approach significantly improved the model's performance. This research also demonstrates that an end-to-end trained model performs better than a pipeline model. This research is the first to apply the SLRT model to Bisindo, thus providing a new contribution to this field."

"Convolutional Neural Network (CNN) banyak digunakan untuk menyelesaikan masalah klasifikasi gambar karena kinerjanya yang baik, namun untuk masalah klasifikasi berbasis vektor yang menggunakan jaringan saraf convolutional jarang digunakan. Para peneliti cenderung menggunakan metode lain dari jaringan saraf tiruan, seperti jaringan saraf Backpropagation (BPNN), probabilitas jaringan saraf (PNN), sebagai pengklasifikasi untuk masalah klasifikasi berbasis vektor. Dalam penelitian ini, digunakan Vector-based CNN untuk mengklasifikasi masalah 6 kelas, 12 kelas, dan 18 kelas dari tiga campuran aroma menggunakan 4, 6, 8, dan 16 buah sensor. Untuk membandingkan kinerja Vector-based CNN, Backpropagation Neural Network juga digunakan untuk mengklasifikasikan masalah klasifikasi aroma yang sama. Hasil percobaan menunjukkan bahwa Vector-based CNN menghasilkan tingkat pengenalan yang cukup tinggi dibandingkan dengan Backpropagation neural network.

---

Convolutional Neural Network (CNN) is widely used in image classification problems because of its good performance, however, Vector-based classification using a convolutional neural network is rarely utilized. Researchers tend to use another method of artificial neural networks, such as Backpropagation neural network, probability neural networks, as the classifier for Vector-based classification problems.

In this paper, we would like to use a CNN classifier in the problems of 6,12, and 18 classes of three mixture of odor using 4, 6, 8, and 16 channels of sensors. In order to compare the performance of the Vector-based Convolutional Neural Network, Backpropagation Neural Network is also used to classify the same Vector-based odor classification problems.

The Experiment results show that Vector-based convolutional neural network yields a quite high recognition rate compare with that of Backpropagation neural network."