Hasil Pencarian  ::  Simpan CSV :: Kembali

Abstrak :
What are the unique characteristics of sign languages that make them so fascinating? What have recent researchers discovered about them, and what do these findings tell us about human language more generally? This thematic and geographic overview examines more than forty sign languages from around the world. It begins by investigating how sign languages have survived and been transmitted for generations, and then goes on to analyze the common characteristics shared by most sign languages: for example, how the use of the visual (rather than the auditory) system affects grammatical structures. The final section describes the phenomena of language variation and change. Drawing on a wide range of examples, the book explores sign languages both old and young, from British, Italian, Asian and American to Israeli, Al-Sayyid Bedouin, African and Nicaraguan.

Abstrak :
Perkembangan teknologi saat ini sudah mampu menunjang kegiatan belajar mengajar secara daring. Salah satu metode yang digunakan untuk melakukan kegiatan tersebut adalah secara asinkronus. Umumnya, materi yang disampaikan secara asinkronus menggunakan video pemelajaran. Pengajar mengunggah video pemelajaran pada sebuah layanan Learning Management System (LMS) dan siswa menggunakan video tersebut sebagai bahan belajar. Siswa tunarungu mengalami kesulitan mengikuti kegiatan pemelajaran dengan media tersebut karena kurangnya fitur aksesibilitas pada LMS yang digunakan. Fasilkom UI sebelumnya sudah mengembangkan modul pengubah suara menjadi teks dengan Automatic Speech Recognition (ASR) dan pengubah teks menjadi animasi bahasa isyarat (Text-to-Gesture). LMS yang digunakan adalah Moodle. Pada penelitian ini, dikembangkan suatu layanan yang bisa mengintegrasikan modul ASR dengan aplikasi Text-to-Gesture. Penelitian ini mengembangkan sebuah Application Programming Interface (API) yang bisa menerima hasil ASR dan mengirimkannya ke aplikasi Text-to-Gesture. Animasi dibangkitkan dengan aplikasi Text-to-Gesture yang di saat bersamaan direkam dan kemudian diproses menggunakan FFmpeg. Hasil prosesnya kemudian dikirimkan kembali ke Moodle untuk disajikan sebagai bahan ajar. Pada penelitian ini disimpulkan pengembang dapat membuat sebuah API yang bisa menghubungkan modul ASR pada Moodle dengan aplikasi Text-to-Gesture. API yang dibuat juga bisa dihubungkan dengan aplikasi lain selain Moodle selama mengikuti format yang sama dengan modul ASR. ......The current technology development has been able to support online learning activities. One of the methods used for such activities is asynchronous learning. Typically, asynchronous learning materials utilize instructional videos. Educators upload instructional videos to a Learning Management System (LMS), and students use these videos as learning materials. Deaf students face difficulties in following the learning activities with these media due to the lack of accessibility features in the LMS being used. Previously, Fasilkom UI has developed modules to convert speech into text using Automatic Speech Recognition (ASR) and to convert text into sign language animations (Text-to-Gesture). The LMS used in this research is Moodle. In this study, a service was developed to integrate the ASR module with the Text-to-Gesture application. An Application Programming Interface (API) was developed to receive ASR results and send them to the Text-to-Gesture application. The animations that are generated using the Text-to-Gesture application are recorded and then processed using FFmpeg. The processed results are then sent back to Moodle to be presented as teaching materials. This research concludes that developers can create an API to connect the ASR module in Moodle with the Text-to-Gesture application. The created API can also be connected to other applications as long as they follow the same format as the ASR module.

Abstrak :
Mempelajari bahasa isyarat bukanlah sesuatu yang mudah. Untuk membantu mempelajari bahasa isyarat, muncul penelitian mesin translasi gerakan isyarat menjadi teks yang dapat dibaca. Untuk penggunaan secara luas, terdapat mesin translasi gerakan isyarat menjadi teks memanfaatkan telepon pintar. Hasil teks yang dihasilkan oleh mesin translasi bergantung terhadap masukkan rangkaian gerakan isyarat. Masukkan ini dapat diperoleh melalui rekaman kamera telepon pintar. Ketika gerakan isyarat bergerak lebih cepat dibandingkan penangkapan bingkai oleh kamera, hasil rekaman menjadi kabur. Rekaman yang kabur akan membuat mesin translasi tidak dapat melakukan prediksi dengan baik. Salah satu solusi untuk mengurangi kabur pada gambar adalah dengan melakukan deblurring. Penelitian ini akan menggunakan metode DeblurGAN-v2 untuk mengurangi tingkat kabur pada bingkai dan menguji hasilnya pada mesin translasi gerakan isyarat SIBI ke teks. Mesin translasi gerakan isyarat SIBI ke teks memperoleh hasil teks yang cukup baik pada data berlatar belakang hijau. Hasil Nugraha dan Rakun (2022) memperoleh 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), dan TC (Time Computation) menggunakan RetinaNet sebesar 0.038 detik per frame pada data berlatar belakang hijau. Hasil evaluasi juga menemukan kekurangan kualitas hasil prediksi dikarenakan masukkan bingkai yang kabur. Penelitian ini mencoba mengatasi masalah bingkai yang kabur dengan menggabungkan metode deblurring ke dalam sistem mesin translasi gerakan isyarat dan mengukur kinerja dengan WER, SAcc, dan TC. Terjadi penambahan TC akibat penambahan metode deblurring, dan untuk mengurangi TC, digunakan nilai ambang batas agar tidak semua bingkai di-deblur. Peneliti menemukan bahwa dengan menambahkan proses deblurring, terjadi peningkatan kinerja mesin translasi gerakan isyarat dari 2.37% WER dan 87.85% SAcc menjadi 1.95% WER dan 89.28% SAcc (tanpa ambang batas) dan 1.96% WER dan 89.28% SAcc (dengan ambang batas) pada data berlatar belakang hijau. Mesin translasi gerakan isyarat menjadi teks tanpa metode deblurring memerlukan TC 0.8036 detik per frame dan setelah menambahkan metode deblurring menjadi 0.8650 detik per frame (tanpa ambang batas) dan 0.8436 detik per frame (dengan ambang batas). ...... Learning sign language isn’t something easy to do. To help learning sign language, born machine sign language translation to text that can be read. For widely usage, there is a machine for translating gestures into text using a smartphone. Text result from machine translation depend on input sign language sequence frame. This input can be obtain from smartphone video recording. When sign language movement is faster than camera frame rate, recording result become blurry. Blurry record will make machine translation can’t make good prediction. One of the solution to reduce blur on the image is by doing deblurring. This research will use DeblurGAN-v2 as method to reduce image blurry rate on frame and test it on machine sign language SIBI translation to text. Machine sign language SIBI translation to text gain good text result on greenscreen background. Result Nugraha dan Rakun (2022) obtain 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), and TC (Time Computation) using RetinaNet at 0.038 seconds per frame on background greenscreen data. Evaluation result also found a lack of of predictive quality due to blurred frame input. This research attempts to overcome the blurred frame problem by combining deblurring method to inside machine sign language translation system and measure performance with WER, SAcc, and TC. There is an addition of TC due to the addition of the deblurring method and to reduce TC, a threshold value is used so not all frames are deblurred. The researcher found that by adding deblurring process, there was an improvement on machine sign language translation from 2.37% WER and 87.85% SAcc to 1.95% WER and 89.28% SAcc (without threshold) and 1.96% WER and 89.28% SAcc (with threshold) on background greenscreen data. Machine for translating gestures into text without deblurring method need TC 0.8036 seconds per frame and after adding deblurring method become 0.8650 seconds per frame (without threshold) and 0.8436 seconds per frame (with threshold).

Abstrak :
This book constitutes revised selected papers from the 9th International Gesture Workshop, GW 2011, held in Athens, Greece, in May 2011. The 24 papers presented were carefully reviewed and selected from 35 submissions. They are ordered in five sections named: human computer interaction; cognitive processes; notation systems and animation; gestures and signs: linguistic analysis and tools; and gestures and speech.

Abstrak :

Bahasa isyarat merupakan suatu tatanan gerakan yang mewakili suatu kosakata pada bahasa tertentu dan memiliki fungsi untuk membantu penyandang tunarungu dalam mengatasi masalah berkomunikasi. Namun tidak semua masyarakat umum menguasai bahasa isyarat. Dari permasalahan tersebut, sistem penerjemah bahasa isyarat diperlukan dalam membantu proses komunikasi penyandang tunarungu. Sistem penerjemah memerlukan sebuah video gerakan bahasa isyarat untuk kemudian dapat dikenali Dalam sebuah video utuh yang berisi satu sequence gerakan kalimat isyarat terdapat dua jenis gerakan yaitu gerakan isyarat (gesture) yang mengandung arti dan gerakan transisi (non gesture). Pada penelitian ini diusulkan metode untuk menngenali gesture dan non gesture pada kalimat SIBI (Sistem Isyarat Bahasa Indonesia) menggunakan Threshold Conditional Random Field (TCRF). Data yang digunakan adalah 2.255 video rekaman gerakan untuk 28 isyarat kalimat pada SIBI yang di peragakan oleh  tiga orang guru dan dua orang murid dari SLB Santi Rama Jakarta. Untuk merepresentasikan data, pada penelitian ini dibandingkan teknik ekstraksi fitur skeleton, image, gabungan (gabungan antara fitur skeleton dan fitur image) dan MobileNetV2. Untuk klasifikasi digunakan metode TCRF dengan variasi nilai threshold dari 1 sampai 4. Berdasarkan hasil eksperimen, masing-masing teknik ekstraksi fitur menghasilkan akurasi terbaik sebesar 72.5% untuk skeleton dengan threshold 2, 70.3% untuk image dengan threshold 2, 68.5% untuk gabungan dengan threshold 2 dan 93.2% untuk MobileNetV2 dengan threshold 1.5. Berdasarkan akurasi tersebut teknik ekstraksi fitur dengan model MobileNetV2 dapat merepresentasikan data lebih baik dibandingkan dengan ekstraksi skeleton, image, dan gabungan

---

Sign language is a series of movements that represent the vocabulary of a particular language and is designed to help the hearing-impaired communicate. However, not everyone is familiar with the sign language gestures, so a sign language translation system would aid communication by allowing more people to understand sign language gestures. A video that contains a sequence of sign sentences with two types of movements, namely sign movements (word-gestures) which have represent language constructs, and transitional movements (transitional-gesture). A method to identify both word-gestures and transitional-gestures in a variant of the Indonesian Sign Language System called Sistem Isyarat Bahasa Indonesia (hereafter referred to as SIBI) sentences based on the Threshold Conditional Random Field (TCRF) was implemented. The dataset on which the model is trained, consists of 2,255 videos containing recorded movements for 28 commonly used sentences in SIBI, performed by three teachers and two students of the Santi Rama School (Sekolah Luar Biasa), a school for hearing-impaired students. Several feature extraction techniques were tested, including skeleton, image, skeleton-image combination and MobileNetV2. The classification method uses TCRF with variations in TCRF threshold values between 1 to 4 to recognize word-gestures and transitional-gestures, then deleting frames with transitional-gestures label, and obtaining accuracy from LSTM that recognizes words from the per-frame word-gesture label. The best accuracies achieved by each method were 72.5% for skeleton technique with a TCRF threshold of 2; 70.3% for image technique with a TCRF threshold of 2; 68.5 % for skeleton-image combination, with a TCRF threshold of 2; and 93.2% for MobileNetV2 with threshold 1.5. Using MobileNetV2 as a feature extractor yields significantly better results than previous feature extraction methods.