Hasil Pencarian  ::  Simpan CSV :: Kembali

"Kemampuan berkomunikasi menggunakan bahasa isyarat sangat penting bagi kaum tunarungu dan tunawicara. Rendahnya persentase rakyat Indonesia yang menguasai bahasa isyarat menjadi latar belakang pengembangan aplikasi penerjemah Sistem Isyarat Bahasa Indonesia (SIBI) menjadi teks. Sistem penerjemah bahasa isyarat menjadi teks dikembangkan menggunakan MediaPipe Hands dengan konfigurasi default dan Convolutional Neural Network (CNN) sebagai classifier hasil recognition MediaPipe. Sistem tersebut diimplementasikan menjadi aplikasi berbasis Android untuk menerjemahkan bahasa isyarat SIBI menjadi teks secara real-time. Dari hasil pengujian sistem penerjemah yang dikembangkan menggunakan 3.803 data landmark tangan dengan rasio training, validation, dan testing sebesar 70:15:15, diperoleh tingkat akurasi model training sebesar 98.57% dengan tingkat akurasi model testing sebesar 92.59%. Aplikasi penerjemah SIBI menjadi teks dapat dijalankan secara real-time dengan jumlah frame kamera yang dapat diproses sekitar 20 frame per detik. Pada pengujian aplikasi dalam menerjemahkan SIBI menjadi teks, diperoleh akurasi sebesar 96.92%. Perbedaan gestur tangan yang ditangkap oleh kamera ketika berbahasa isyarat menjadi kekurangan pada aplikasi yang menyebabkan teks yang diterjemahkan kadang tidak sesuai. Saran untuk pengembangan lebih lanjut yaitu meningkatkan performa model SIBI dan menambah jumlah bahasa isyarat yang dapat diterjemah.

---

The ability to communicate with sign language becomes very important for disabilities who cannot hear or speak. The low percentage of Indonesian societies who are not able to understand Indonesian sign language becomes the background of the SIBI recognizer application development. SIBI recognizer system is developed using MediaPipe Hands with default configuration and Convolutional Neural Network (CNN) as the classifier of MediaPipe recognition result. The system is implemented to an Android based application project for real-time SIBI sign language to text recognition. The SIBI recognizer system model developed with 3.803 data of hand landmarks with training, validation, and testing ratio of 70:15:15 achieves the training accuracy of 98.57% and testing accuracy of 92.59%. The SIBI recognizer application can perform in real-time with average number of 20 frames per second. The application testing results in accuracy of 96.92%. The hand gesture difference caught by the camera when performing sign language becomes the drawback of the application, hence the translated text sometimes mismatched. Suggestions for the future development include improving SIBI model performance and increasing the number of sign languages to be translated."

"Bahasa yang dapat diakses anak tunarungu secara natural adalah bahasa isyarat. Pada usia kritis, anak perlu secara reguler medapat pemaparan bahasa yang dapat diakses atau anak akan mengalami kendala dalam berbahasa yang berujung pada kendala lain. Namun, banyak orang tua mendengar yang belum menyadari sepenuhnya metode yang baik dalam mengajarkan dan berkomunikasi dengan bahasa isyarat. Penelitian ini bertujuan memberikan solusi bagi para orang tua anak tunarungu mempelajari bahasa isyarat agar dapat mendidik dan berkomunikasi dengan anak melalui bahasa yang dapat diakses anak tunarungu. Pengembangan desain antarmuka solusi aplikasi ini menggunakan metode user-centered design. Pengumpulan masalah dan kebutuhan dilakukan dengan melakukan wawancara dengan orang tua anak tunarungu dan wawancara dengan psikolog. Setelah desain antarmuka dibuat dalam bentuk prototipe, dilakukan evaluasi kualitatif dengan usability testing dan kuantitatif dengan System Usability Scale (SUS). Berdasarkan hasil evaluasi yang diberikan pengguna, aplikasi pembelajaran bahasa isyarat untuk orang tua memiliki usability yang cukup baik dan memiliki skor SUS yang cukup tinggi.

---

The language that deaf children can naturally access is sign language. At the critical age, children need to start learning their accessible language otherwise children will have language deprivation that can leads to other cognitive problems. However, many hearing parents do not understand good methods on how to teach children and communicating with sign language. This research provides a solution for parents of deaf children to learn basic of language that is accessible for deaf children, sign language. The interface of this application was designed using user-centered design approach. Requirement gathering was done by conducting interviews with parents of deaf children and interview with a psychologist. After the prototype was made, the design evaluated qualitatively by conducting usability testing and quantitatively using System Usability Scale (SUS). Based on the evaluation results, sign language learning application for parents have overall good usability and have a fairly high SUS score."

"SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM.

---

SIBI is a sign language that is officially used in Indonesia. The use of SIBI is often found to be a problem because of the many gestures that have to be remembered. This study aims to recognize SIBI gestures by extracting hand and facial features which are then classified using Bidirectional Long ShortTerm Memory (BiLSTM). The feature extraction used in this research is Deep Convolutional Neural Network (DeepCNN) such as ResNet50 and MobileNetV2, where both models are used as a comparison. This study also compares the performance and computational time between the two models which is expected to be applied to smartphones later, where both models can now be implemented on smartphones. The results showed that the use of ResNet50-BiLSTM model have better performance than MobileNetV2-BiLSTM which is 99.89\%. However, if it will be applied to mobile architecture, MobileNetV2-BiLSTM is superior because it has a faster computational time with a performance that is not significantly different when compared to ResNet50-BiLSTM."

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"Tujuan utama dari penelitian yang dilakukan adalah melakukan pengenalan pola isyarat tangan statis dalam bahasa Indonesia. Pengenalan pola isyarat tangan statis dalam bentuk citra secara garis besar dilakukan dalam 3 tahapan yang meliputi: 1) Segmentasi bagian citra yang akan dikenali berupa tangan dan wajah, 2) ekstraksi ciri, dan 3) klasifikasi pola. Data citra yang diterapkan ada 15 kelas kata isyarat statis. Segmentasi dilakukan dengan menggunakan filter HSVdengan ambang berdasarkan warna kulit. Ekstraksi ciri dilakukan dengan dekomposisi wavelet Haar filter sampai level 2. Klasifikasi dilakukan dengan menerapkan sistem jaringan syaraf tiruan perambatan balik dengan arsitektur 4096 neuron pada lapisan input, 75 neuron pada lapisan tersembunyi dan 15 neuron pada lapisan output. Sistem diuji dengan menggunakan 225 data validasi dan akurasi yang dicapai adalah 69%.

---

AbstractThe main objective of this research is to perform pattern recognition of static hand gesture in Indonesian sign language. Basically, pattern recognition of static hand gesture in the form of image had three phases include: 1) segmentation of the image that will be recognizable form of the hands and face, 2) feature extraction and 3) patternclassification. In this research, we used images data of 15 classes of words static. Segmentation is performed using HSV with a threshold filter based on skin color. Feature extraction performed withthe Haar wavelet decomposition filter to level 2. Classification is done by applying the back propagation system of neural network architecture with 4096 neurons in input layer, 75 neurons in hidden layer and 15 neurons in output layer. The system was tested by using 225 data validation and accuracy achieved was 69%."

"Speech Emotion Recognition adalah teknologi yang mampu bisa mendeteksi emosi lewat data suara yang diproses oleh sebuah mesin. Media yang sering digunakan untuk menjadi media interaksi antara 2 orang atau lebih yang saat ini sedang digunakan oleh banyak orang adalah Podcast, dan Talkshow. Seiring berkembangya SER, penelitian terakhir menunjukkan bahwa penggunaan metode Deep Learning dapat memberikan hasil yang memuaskan terhadap sistem SER. Pada penelitian ini akan diimplementasikan model Deep Learning yaitu dengan Recurrent Neural Network (RNN) variasi Long Short Term Memory (LSTM) untuk mengenali 4 kelas emosi (marah, netral, sedih, senang). Penelitian ini menguji model yang digunakan untuk mengenali emosi dari fitur akustik pada data secara sekuensial. Skenario training dan testing dilakukan dengan metode one-against-all dan mendapatkan hasil (1) Dataset talkshow mengungguli dataset podcast untuk tipe 1 dan 2 dan untuk semua emosi yang dibandingkan; (2) Untuk dataset podcast pada emosi marah, senang, dan sedih didapatkan akurasi optimal pada dataset tipe 1 yaitu 67.67%, 71.43%, dan 68,29%, sedangkan untuk emosi netral didapatkan akurasi terbaik pada dataset tipe 2 dengan 77.91%; (3) Untuk dataset talkshow pada emosi marah, netral, dan sedih didapatkan akurasi terbaik pada dataset tipe 2 yaitu 78.13%, 92.0%, dan 100%. Dapat disimpulkan bahwa dataset talkshow secara garis besar memberikan hasil yang lebih optimal namun memiliki variasi data yang lebih sedikit dari dataset podcast. Dari sisi panjang data, pada penelitian ini didapatkan akurasi yang lebih optimum pada dataset dengan tipe 2.

---

Speech Emotion Recognition is a technology that is able to detect emotions through voice data that is processed by a machine. Media that is often used to be a medium of interaction between two or more people who are currently being used by many people are Podcasts, and Talkshows. As SER develops, recent research shows that the use of the Deep Learning method can provide satisfactory results on the SER system. In this study a Deep Learning model will be implemented, this study uses Long Short Term Memory (LSTM) as one of the variation of Recurrent Neural Network (RNN) to recognize 4 classes of emotions (angry, neutral, sad, happy). This study examines the model used to recognize emotions from acoustic features in sequential data. Training and testing scenarios are conducted using the one-against-all method and get results (1) The talkshow dataset outperforms the podcast dataset for types 1 and 2 and for all emotions compared; (2) For the podcast dataset on angry, happy, and sad emotions, the optimal accuracy in type 1 dataset is 67.67%, 71.43%, and 68.29%, while for neutral emotions the best accuracy is obtained in type 2 dataset with 77.91%; (3) For the talkshow dataset on angry, neutral, and sad emotions the best accuracy is obtained for type 2 datasets, namely 78.13%, 92.0%, and 100%. It can be concluded that the talkshow dataset in general gives more optimal results but has fewer data variations than the podcast dataset. In terms of data length, this study found more optimum accuracy in dataset with type 2."

"Convolutional Neural Network (CNN) banyak digunakan untuk menyelesaikan masalah klasifikasi gambar karena kinerjanya yang baik, namun untuk masalah klasifikasi berbasis vektor yang menggunakan jaringan saraf convolutional jarang digunakan. Para peneliti cenderung menggunakan metode lain dari jaringan saraf tiruan, seperti jaringan saraf Backpropagation (BPNN), probabilitas jaringan saraf (PNN), sebagai pengklasifikasi untuk masalah klasifikasi berbasis vektor. Dalam penelitian ini, digunakan Vector-based CNN untuk mengklasifikasi masalah 6 kelas, 12 kelas, dan 18 kelas dari tiga campuran aroma menggunakan 4, 6, 8, dan 16 buah sensor. Untuk membandingkan kinerja Vector-based CNN, Backpropagation Neural Network juga digunakan untuk mengklasifikasikan masalah klasifikasi aroma yang sama. Hasil percobaan menunjukkan bahwa Vector-based CNN menghasilkan tingkat pengenalan yang cukup tinggi dibandingkan dengan Backpropagation neural network.

---

Convolutional Neural Network (CNN) is widely used in image classification problems because of its good performance, however, Vector-based classification using a convolutional neural network is rarely utilized. Researchers tend to use another method of artificial neural networks, such as Backpropagation neural network, probability neural networks, as the classifier for Vector-based classification problems.

In this paper, we would like to use a CNN classifier in the problems of 6,12, and 18 classes of three mixture of odor using 4, 6, 8, and 16 channels of sensors. In order to compare the performance of the Vector-based Convolutional Neural Network, Backpropagation Neural Network is also used to classify the same Vector-based odor classification problems.

The Experiment results show that Vector-based convolutional neural network yields a quite high recognition rate compare with that of Backpropagation neural network."

"Penggunaan analisis sentimen semakin umum digunakan. Dalam pengembangan analisis sentimen ini banyak tantangan yang perlu dihadapi. Karena analisis ini termasuk Natural Language Processing NLP, hal yang perlu dimengerti adalah kompleksitas bahasa. Dengan berkembangnya teknologi Artificial Neural Network, ANN semakin banyak permasalahan yang bisa diselesaikan. Ada banyak contoh struktur ANN dan untuk penelitian ini yang digunakan adalah Convolutional Neural Network CNN dan Recurrent Neural Network RNN. Kedua jenis ANN tersebut sudah menunjukkan performa yang baik untuk beberapa tugas NLP. Maka akan dilakukan analisis sentimen dengan menggunakan kedua jenis ANN tersebut dan dibandingkan kedua performa ANN tersebut. Untuk data yang akan digunakan diambil dari publikasi stanford dan untuk mengubah data tersebut bisa digunakan pada ANN digunakan word2vec. Hasil dari analisis menunjukkan bahwa RNN menunjukkan hasil yang lebih baik dari CNN. Walaupun akurasi tidak terlalu terlihat perbedaan yaitu pada RNN yang mencapai 88.35 0.07 dan CNN 87.11 0.50, tetapi waktu pelatihan RNN hanya membutuhkan waktu 8.256 detik sedangkan CNN membutuhkan waktu 544.366 detik.

---

Term of sentiment analysis become popular lately. There are many challenges developing sentiment analysis that need to be addressed. Because this kind analysis is including Natural Language Processing, the thing need to understand is the complexity of the language. With the current development of Artificial Neural Network ANN, more problems can be solved.

There are many type of ANN and for this research Convolutional Neural Network CNN and Recurrent Neural Network will be used. Both already showing great result for several NLP tasks. Data taken from stanford publication and transform it with word2vec so could be used for ANN.

The result shows that RNN is better than CNN. Even the difference of accuracy is not significant with 88.35 0.07 for RNN and 87.11 0.50 for CNN, the training time for RNN only need 8.256 secods while CNN need 544.366 seconds."

"Jenis pisang di Indonesia sangat beragam dan tingkat konsumsi buah ini sangat tinggi untuk konsumsi mingguan menningkat 198,44%, untuk konsumsi tahunan meningkat 18,30%, dan dari segi produksi daya ekspornya meningkat 26,65% selama 5 tahun terakhir dari 2014-2018. Pisang banyak manfaatnya terutama saat mulai terdapat bintik hitam karena bintik ini memiliki manfaat mencegah tumbuhnya sel-sel kanker dan meningkatkan sistem kekebalan tubuh. Pisang dengan bintik hitam maupun pisang yang tidak layak konsumsi ini dapat diprediksi dengan model machine learning, seperti CNN, DenseNet, dan GoogleNet. Convolutional Neural Network (CNN) adalah pendekatan deep learning yang banyak digunakan untuk memecahkan masalah yang kompleks. Sedangkan, DenseNet adalah algoritma yang mempertimbangkan satu gambar yang dilewatkan melalui jaringan konvolusi dimana arsitekturnya memiliki konektivitas yang padat/dense connectivity. Terakhir GoogleNet adalah algoritma ini dirancang untuk bekerja dengan baik bahkan di bawah batasan yang memori yang ketat dan biaya komputasi yang terbatas. Tulisan ini menggunakan tiga pendekatan dalam percobaan perbandingan. Pendekatan pertama menjalankan model yang dibangun dengan algoritma CNN. Kedua dengan model yang dibangun dengan algoritma DenseNet. Ketiga dengan model yang dibangun dengan algoritma GoogleNet. Model terbaik digunakan untuk memprediksi dataset Kaggle dan baru, tetapi pada dataset baru terdapat noise pada data training yang berdampak negatif pada kinerja model ini sehingga hasilnya terjadi overfitting. Hasil dari model terbaik yang memuaskan diperoleh dari semua pengujian adalah model GoogleNet pada batch size 32 dan optimizer Adam dengan hasil rata-rata pada training loss di 0,0264 dan training accuracy di 99,19%, validation loss di 0,03876, validation accuracy di 99,59%, testing loss di 0,01316, dan testing accuracy di 99,66% terhadap dataset kaggle yang digunakan.

---

Type of bananas in Indonesia are very diverse and consumption level of this fruit is very high, for weekly consumption it increased by 198,44%, for annual consumption it increased by 18,30%, and for export production it increased 26,65% over the last 5 years from 2014-2018. Banana have many benefits, especially when dark spots begin to appear because these spots have benefit to preventing the growth of cancer cells and increasing immune system. Bananas with black spots and bananas that are not fit for consumption can be predicted by machine learning models, such as CNN, DenseNet, dan GoogleNet. Convolutional Neural Network (CNN) is a deep learning approach that is widely used to solve complex problems. Meanwhile, DenseNet is an algorithm that considers a single image that is passed through a convolution network where the architecture has dense connectivity. And GoogleNet's algorithm is designed to work well even under strict memory constraints and limited computational costs. This paper uses three approaches in a comparative experiment. The first approach is to run the model built with the CNN algorithm. The second is a model built with the DenseNet algorithm. Third with a model built with the GoogleNet algorithm. The best model is used to predict Kaggle and new datasets, but in the new dataset there is noise in the training data which has a negative impact on this model performance so that results are overfitting. The best model obtained from all tests is GoogleNet model on batch size 32 and Adam optimizer with average results on training loss at 0,0264 and training accuracy at 99,19%, validation loss at 0,03876, validation accuracy at 99, 59%, testing loss at 0,01316, and testing accuracy at 99,66% for kaggle dataset used."

"Bahasa Isyarat Indonesia (BISINDO) merupakan salah satu bahasa isyarat yang banyak digunakan kaum Tuli di Indonesia karena dianggap lebih alami sehingga lebih mudah digunakan. BISINDO digunakan kaum Tuli untuk berkomunikasi dengan orang lain dalam kegiatan sehari-harinya. Namun, pada kenyataannya, masih banyak orang yang belum mengerti bahasa isyarat. Hal tersebut menjadi kendala bagi orang Tuli untuk berkomunikasi dengan orang dengar dan sebaliknya. Perkembangan teknologi yang semakin maju memberikan suatu solusi untuk masalah tersebut. Pada penelitian ini akan dikembangkan model untuk mengenali gerakan isyarat BISINDO dengan menggunakan MobileNetV2 dan Long Short-Term Memory (LSTM). MobileNetV2 digunakan pada tahap feature extraction sedangkan LSTM digunakan pada tahap klasifikasi gerakan isyarat. Dataset yang digunakan pada penelitian ini berupa video 40 kalimat yang direkam dengan menggunakan kamera smartphone dan diperagakan oleh empat orang Tuli dari Laboratorium Riset Bahasa Isyarat FIB UI (LRBI FIB UI). Terdapat tahapan preprocessing untuk mendapatkan bagian tangan dan wajah yang merupakan fitur penting untuk membedakan gerakan isyarat. Penelitian ini menghasilkan model LSTM 1-layer bidirectional sebagai model terbaik dengan akurasi tertinggi sebesar 91,53%.

---

Indonesian Sign Language (BISINDO) is a sign language that is widely used by deaf people in Indonesia because it is a natural language and therefore it is easier to use. BISINDO is used by deaf people to communicate in their daily activities. However, in reality, there are many people who do not understand sign language. This becomes a problem for deaf people to communicate with hearing people and vice versa. Nowadays, the development of technology is more advanced give a solution to this problem. In this research, a model will be developed to recognize BISINDO gestures using MobileNetV2 and Long Short-Term Memory (LSTM). MobileNetV2 will be used in a feature extraction stage while LSTM will be used in the gesture classification stage. The dataset used in this study is a video recording of 40 sentences recorded using a smartphone camera and it was demonstrated by four deaf people from the research laboratory of sign language FIB UI (LRBI FIB UI). There is a preprocessing stage to get the hand and facial parts which are important features for distinguishing the gesture of sign language. Then, the result of this study is a model LSTM 1-Layer Bidirectional as the best model with the highest accuracy is 91,53%."