Hasil Pencarian  ::  Simpan CSV :: Kembali

Abstrak :
Komunikasi yang efektif sangat penting untuk penyediaan layanan kesehatan yang berkualitas. Di rumah sakit, pasien yang kemampuan komunikasinya terbatas secara fisik mungkin menghadapi tantangan dalam mengungkapkan kebutuhan dasar mereka kepada penyedia layanan kesehatan. Untuk mengatasi masalah ini, dalam penelitian ini dikembangkan sistem pengenalan isyarat tangan untuk pasien dengan keterbatasan fisik. Sistem ini menggunakan Mediapipe dan long short-term memory (LSTM) model untuk mendeteksi dan mengklasifikasi 24 kelas isyarat tangan. Isyarat tangan untuk pasien yang digunakan berdasarkan kartu single hand sign communication, yang dibuat oleh Derek Tune, seorang intrepeter bahasa isyarat pada tahun 2012. Akuisisi data hand landmark dalam bentuk video sepanjang 10 frame untuk setiap kelas isyarat tangan, yang kemudian diolah dan dianalisis menggunakan model LSTM. Model LSTM dilatih menggunakan teknik early stopping untuk mendapatkan performa optimal, menghasilkan tingkat akurasi model 85,53% dengan presisi 0,911. Model dapat mendeteksi isyarat tangan secara waktu nyata dengan waktu inferensi 130 milidetik. Sistem ini juga dirancang untuk mengirim pesan notifikasi secara otomatis ke penyedia layanan kesehatan melalui bot Telegram. Secara keseluruhan, sistem pengenalan isyarat tangan pasien memiliki potensi untuk meningkatkan komunikasi antara pasien dan penyedia layanan kesehatan dan memungkinkan pasien penyandang disabilitas untuk lebih mudah memenuhi kebutuhan dasar mereka. ......Effective communication is essential to provide quality health services. In hospitals, patients with physically limited communication skills may face challenges expressing their basic needs to health care providers. To overcome this problem, this research developed a hand signal recognition system for patients with physical limitations. This system uses the Mediapipe model and long shortterm memory (LSTM) to detect and classify 24 classes of hand signals. Hand signals for patients used are based on the single hand sign communication card, which was made by Derek Tune, a sign language interpreter in 2012. Acquisition of hand landmark data in the form of a 10-frame video for each hand signal class, which is then processed and analyzed using LSTM models. The LSTM model minimizes using early stopping techniques to get optimal performance, resulting in a model accuracy rate of 85.53% with a precision of 0.911. The model can detect real-time hand signals with an inference time of 130 milliseconds. The system is also designed to automatically send message notifications to healthcare providers via Telegram bots. Overall, patient hand signal recognition systems have the potential to improve communication between patients and healthcare providers and enable patients with disabilities to meet their basic needs more easily.

Abstrak :
Kemampuan berkomunikasi menggunakan bahasa isyarat sangat penting bagi kaum tunarungu dan tunawicara. Rendahnya persentase rakyat Indonesia yang menguasai bahasa isyarat menjadi latar belakang pengembangan aplikasi penerjemah Sistem Isyarat Bahasa Indonesia (SIBI) menjadi teks. Sistem penerjemah bahasa isyarat menjadi teks dikembangkan menggunakan MediaPipe Hands dengan konfigurasi default dan Convolutional Neural Network (CNN) sebagai classifier hasil recognition MediaPipe. Sistem tersebut diimplementasikan menjadi aplikasi berbasis Android untuk menerjemahkan bahasa isyarat SIBI menjadi teks secara real-time. Dari hasil pengujian sistem penerjemah yang dikembangkan menggunakan 3.803 data landmark tangan dengan rasio training, validation, dan testing sebesar 70:15:15, diperoleh tingkat akurasi model training sebesar 98.57% dengan tingkat akurasi model testing sebesar 92.59%. Aplikasi penerjemah SIBI menjadi teks dapat dijalankan secara real-time dengan jumlah frame kamera yang dapat diproses sekitar 20 frame per detik. Pada pengujian aplikasi dalam menerjemahkan SIBI menjadi teks, diperoleh akurasi sebesar 96.92%. Perbedaan gestur tangan yang ditangkap oleh kamera ketika berbahasa isyarat menjadi kekurangan pada aplikasi yang menyebabkan teks yang diterjemahkan kadang tidak sesuai. Saran untuk pengembangan lebih lanjut yaitu meningkatkan performa model SIBI dan menambah jumlah bahasa isyarat yang dapat diterjemah. ......The ability to communicate with sign language becomes very important for disabilities who cannot hear or speak. The low percentage of Indonesian societies who are not able to understand Indonesian sign language becomes the background of the SIBI recognizer application development. SIBI recognizer system is developed using MediaPipe Hands with default configuration and Convolutional Neural Network (CNN) as the classifier of MediaPipe recognition result. The system is implemented to an Android based application project for real-time SIBI sign language to text recognition. The SIBI recognizer system model developed with 3.803 data of hand landmarks with training, validation, and testing ratio of 70:15:15 achieves the training accuracy of 98.57% and testing accuracy of 92.59%. The SIBI recognizer application can perform in real-time with average number of 20 frames per second. The application testing results in accuracy of 96.92%. The hand gesture difference caught by the camera when performing sign language becomes the drawback of the application, hence the translated text sometimes mismatched. Suggestions for the future development include improving SIBI model performance and increasing the number of sign languages to be translated.

Abstrak :
Bahasa Isyarat Indonesia atau BISINDO adalah bahasa yang sering ditemukan di kalangan Teman Tuli maupun Teman Inklusi dibentuk oleh Teman Tuli dan muncul secara alami berdasarkan pengamatan Teman Tuli yang menyebabkan BISINDO sendiri memiliki variasi atau dialek di berbagai daerah dan BISINDO disampaikan dengan gerakan dua tangan. BISINDO sendiri dapat digunakan sebagai dataset pada metode deep learning seperti LSTM. Di mana pada BISINDO terdapat gerakan dinamis yang membuatnya sulit untuk dilakukan dengan metode CNN. Dengan LSTM dan menggabungkan nya dengan library dari MediaPipe dan Streamlit kita dapat membuat model deep learning yang dapat mendeteksi gerakan secara real-time, akurasi yang baik dan dapat diakses melalui browser. Pada penelitian dibuat rancangan dan pengujian untuk mendeteksi BISINDO secara real-time dengan metode LSTM di bantu dengan library MediaPipe Holistic untuk mendeteksi landmark dari wajah, pose, dan tangan serta Streamlit untuk dapat membuat model diakses melalui browser. Metrik evaluasi yang digunakan pada penelitian ini adalah data dari akurasi, validasi akurasi, loss, validasi loss, confusion matrix, dan classification report untuk mendapatkan data presisi, recall, akurasi, dan f1-score. Pada training model dengan 130 epochs didapat loss 6.19%, akurasi 98.23%, validasi loss 4.58%, dan validasi akurasi 100% serta pengujian model secara real-time yang berhasil dilakukan dengan Visual Studio Code dan browser dengan Streamlit. ......Indonesian Sign Language or BISINDO is a language that is often found among Deaf Friends and Inclusion Friends formed by Deaf Friends and appears naturally based on the observations of Deaf Friends which causes BISINDO itself to have variations or dialects in various regions. BISINDO is conveyed with two hand gestures. BISINDO itself can be used as a dataset in deep learning methods such as LSTM. Whereas in BISINDO there is a dynamic movement which makes it difficult to do with the CNN method. With LSTM and combining it with libraries from MediaPipe and Streamlit, we can create deep learning models that can detect motion in real-time, have good accuracy, and can be accessed via a browser. In this research, a design and test were made to detect BISINDO in real-time with the LSTM method assisted by the MediaPipe Holistic library to detect landmarks from faces, poses, and hands and Streamlit to be able to make models accessible via a browser. The evaluation metrics used in this study are data from accuracy, accuracy validation, losses, validation losses, confusion matrices, and classification reports to obtain data on precision, gain, accuracy, and f1-score. The training model with 130 epochs obtained 6.19% loss, 98.23% accuracy, 4.58% loss validation, and 100% accuracy validation and real-time model testing which was successfully carried out with Visual Studio Code and a browser with Streamlit.