Hasil Pencarian  ::  Simpan CSV :: Kembali

"Saat ini, dunia telah memasuki era lnformasi menjadi aset yang berharga bagi suatu institusi bisnis dalam memenangkan persaingan bisnis. Dunia pendidikan tinggi juga teiah memanfaatkan infonnasi untuk mengefisienkan proses-proses akademik yang ada di dalamnya. Universitas Indonesia, sebagai salah satu universitas terkemuka di Indonesia, te!ah memanfaatkan Sistem Informasi yang disebut Sistem Informasi Akademik & Kemahasiswaan Universitas lndonesia (SlAK-UI) dalam proses­ proses akademik dan kemahasiswaan. SIAK-UI belum sepenuhnya digunakan oleh seluruh fakultas yang ada di Universitas Indonesia. Penelitian ini bertujuan untuk mengembangkan aplikasi SIAK-Ul tersebut ke Fakultas Kedokteran (FK) dan Fakultas Kedokteran Gigi (FKG) Universitas Indonesia. Model pengembangan perangkat lunak yang digunakan dalam penelitian ini adalah model wale/fall. Laporan tesis ini akan menguraikan aktifitas-aktititas dan produk-produk yang dihasilkan pada masing-masing tahap pengembangan. Desain dan implementasi untuk SIAK FK pada salah satu modul proses, yaitu proses penjadwalan kuliah. Pada tahap akhir pengembangan perangkat lunak. dilakukan evaluasi terhadap proses dan produk pengembangan perangkat lunak. Hal-hal apa yang telah dilakukan dan apa yang belum dilakukan pada pengembangan perangkat lunak ini akan diulas pada bagian akhir tesis ini.

---

Now we are in the era of information-based compettion. Information becomes a valuable asset for a business inslitution ix.t order to win the business competition. Higher education also has used information to run efficiently their academic processes. University of lndonesia, as one of the best universities in Indonesia, has used Information System, called University oflndonesia Academic and Student Affairs Information System (SIAK-Ul), to run its academic and student affairs processes.

Not all faculties in University of Indonesia have used SIAK-UL The goal of this study is to extend the SIAK-UI application to Faculty of Medicine (FK) and Faculty of Dentistry (fKG). To achieve it, software development process is done based on discipline software engineering.

Software development model used in this study is waterfall model. This thesis will explain the activities and results produced in each development phases.

Scope of design and implementation of SIAK-FK and SIAK-FKG are limited to one process, that is lecture-scheduling process. At the last phase, software development process and results are evaluated. What has been done and what has not been done through this software development will be discussed in the last part of this thesis."

"Saat ini, dunia telah memasuki era persaingan berbasiskan informasi. Informasi menjadi aset yang berharga bagi suatu institusi bisnis dalam memenangkan persaingan bisnis. Dunia pendidikan tinggi juga telah memanfaatkan informasi untuk mengefisienkan proses-proses akademik yang ada di dalamnya. Universitas Indonesia, sebagai salah satu universitas terkemuka di Indonesia, telah memanfaatkan Sistem Informasi yang disebut Sistem Informasi Akademik & Kemahasiswaan Universitas Indonesia (SIAK-UI) dalam proses-proses akademik dan kemahasiswaan. SIAK-UI belum sepenuhnya digunakan oleh seluruh fakultas yang ada di Universitas Indonesia. Penelitian ini bertujuan untuk mengembangkan aplikasi SIAK-UI tersebut ke Fakultas Kedokteran (FK) dan Fakultas Kedokteran Gigi (FKG) Universitas Indonesia. Untuk itu, dilakukan proses pengembangan perangkat lunak yang didasarkan pada rekayasa perangkat lunak yang benar. Model pengembangan perangkat lunak yang digunakan dalam penelitian ini adalah model waterfall. Laporan tesis ini akan menguraikan aktifitas-aktifitas dan produk-produk yang dihasilkan pada masing-masing tahap pengembangan. Desain dan implementasi untuk SIAK-FK dan SIAK-FKG ini dibatasi pada salah satu modul proses, yaitu proses penjadwalan kuliah. Pada tahap akhir pengembangan perangkat lunak, dilakukan evaluasi terhadap proses dan produk pengembangan perangkat lunak. Hal-ha! apa yang telah dilakukan dan apa yang belum dilakukan pada pengembangan perangkat lunak ini akan diulas pada bagian akhir tesis ini.

---

Now, we are in the era of information-based competition. Information becomes a valuable asset for a business institution in order to win the business competition. Higher education also has used information to run efficiently their academic processes. University of Indonesia, as one of the best universities in Indonesia, has used Information System, called University of Indonesia Academic and Student Affairs Information System (SIAK-UI), to run its academic and student affairs processes. Not all faculties in University of Indonesia have used SIAK-UI. The goal of this study is to extend the SIAK-UI application to Faculty of Medicine (FK) and Faculty of Dentistry (FKG). To achieve it, software development process is done based on discipline software engineering. Software development model used in this study is waterfall model. This thesis will explain the activities and results produced in each development phases. Scope of design and implementation of SIAK-FK and SIAK-FKG are limited to one process, that is lecture-scheduling process. At the last phase, software development process and results are evaluated. What has been done and what has not been done through this software development will be discussed in the last part of this thesis."

"Skripsi ini membahas mengenai penggunaan model segmentasi semantik UNet sebagai alternatif metode segmentasi wajah dan tangan gerakan isyarat SIBI (Sistem Isyarat Bahasa Indonesia) pada latar belakang kompleks. Penelitian dilakukan terhadap dataset gerakan isyarat SIBI milik Lab MLCV Fakultas Ilmu Komputer Universitas Indonesia. Dalam penelitian ini, dilakukan percobaan dengan tiga jenis konfigurasi UNet, yaitu UNet 4- level tanpa Batch Normalization, UNet 5-level tanpa Batch Normalization, dan UNet 4- level dengan Batch Normalization. Hasil segmentasi dari UNet konfigurasi terbaik kemudian dilakukan tahap pengenalan selanjutnya, yaitu ekstraksi fitur dengan MobileNetV2, penghapusan gerakan transisi dengan TCRF, dan gesture recognition dengan 2-layer biLSTM untuk mendapatkan hasil translasi serta evaluasi akhir. Selain itu, performa sistem dengan menggunakan metode segmentasi UNet dibandingkan dengan performa sistem dengan menggunakan metode segmentasi RetinaNet+Skin Color Segmentation. Hasil dari penelitian didapatkan bahwa konfigurasi UNet 4-level dengan Batch Normalization menghasilkan segmentasi yang sedikit lebih baik dibandingkan konfigurasi lainnya, yaitu dengan nilai IOU 0,9178% pada dataset berlatar belakang kompleks. Performa UNet terlihat baik pada saat kedua tangan berada di depan badan, dan menurun ketika tangan berada di posisi yang berdekatan dengan area kulit lainnya (lengan, leher, wajah). Didapatkan juga bahwa sistem pengenalan isyarat SIBI ke teks bahasa Indonesia dengan menggunakan metode segmentasi UNet berhasil memiliki performa yang lebih baik dibandingkan menggunakan metode segmentasi RetinaNet+Skin Color Segmentation, dengan nilai WER 2,703% dan SAcc 82,424% pada latar belakang kompleks. Didapatkan juga waktu komputasi UNet yang lebih cepat dibandingkan RetinaNet dengan waktu segmentasi 0,19643 detik per frame pada CPU NVIDIA DGX A100

---

This thesis discusses the use of the UNet semantic segmentation model as an alternative to hand and face segmentation methods for SIBI (Indonesian Signing System) on complex backgrounds. This research was conducted on SIBI gesture dataset by MLCV Lab (Faculty of Computer Science, Universitas Indonesia). In this study, experiments were conducted with three types of UNet configurations, namely 4-level UNet without Batch Normalization, 5-level UNet without Batch Normalization, and 4-level UNet with Batch Normalization. Segmentation results from the best UNet configuration is then carried out in the next stage of the system, namely feature extraction with MobileNetV2, epenthesis removal with TCRF, and gesture recognition with 2-layer biLSTM to obtain translation results and the final evaluations. In addition, system performance using the UNet segmentation method is compared to system performance using the RetinaNet+Skin Color Segmentation method. The results of the study showed that the 4-level UNet configuration with Batch Normalization produces slightly better segmentation than the other configurations, with an IOU of 0.9178% on a dataset with a complex background. Based on the sample results, UNet performance is good when both hands are on the front of the body, and it decreases when the hands are in close proximity to other skin areas (arms, neck, face). It was also found that the SIBI gesture recognition system to Indonesian text using the UNet segmentation method managed to have better performance than using the RetinaNet+Skin Color Segmentation, with a WER value of 2.703% and a SAcc of 82.424% on a complex background. It was also found that UNet processing time was faster than RetinaNet with a segmentation rate of 0.19643 seconds per frame on the NVIDIA DGX A100 CPU."

"Mempelajari bahasa isyarat bukanlah sesuatu yang mudah. Untuk membantu mempelajari bahasa isyarat, muncul penelitian mesin translasi gerakan isyarat menjadi teks yang dapat dibaca. Untuk penggunaan secara luas, terdapat mesin translasi gerakan isyarat menjadi teks memanfaatkan telepon pintar. Hasil teks yang dihasilkan oleh mesin translasi bergantung terhadap masukkan rangkaian gerakan isyarat. Masukkan ini dapat diperoleh melalui rekaman kamera telepon pintar. Ketika gerakan isyarat bergerak lebih cepat dibandingkan penangkapan bingkai oleh kamera, hasil rekaman menjadi kabur. Rekaman yang kabur akan membuat mesin translasi tidak dapat melakukan prediksi dengan baik. Salah satu solusi untuk mengurangi kabur pada gambar adalah dengan melakukan deblurring. Penelitian ini akan menggunakan metode DeblurGAN-v2 untuk mengurangi tingkat kabur pada bingkai dan menguji hasilnya pada mesin translasi gerakan isyarat SIBI ke teks. Mesin translasi gerakan isyarat SIBI ke teks memperoleh hasil teks yang cukup baik pada data berlatar belakang hijau. Hasil Nugraha dan Rakun (2022) memperoleh 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), dan TC (Time Computation) menggunakan RetinaNet sebesar 0.038 detik per frame pada data berlatar belakang hijau. Hasil evaluasi juga menemukan kekurangan kualitas hasil prediksi dikarenakan masukkan bingkai yang kabur. Penelitian ini mencoba mengatasi masalah bingkai yang kabur dengan menggabungkan metode deblurring ke dalam sistem mesin translasi gerakan isyarat dan mengukur kinerja dengan WER, SAcc, dan TC. Terjadi penambahan TC akibat penambahan metode deblurring, dan untuk mengurangi TC, digunakan nilai ambang batas agar tidak semua bingkai di-deblur. Peneliti menemukan bahwa dengan menambahkan proses deblurring, terjadi peningkatan kinerja mesin translasi gerakan isyarat dari 2.37% WER dan 87.85% SAcc menjadi 1.95% WER dan 89.28% SAcc (tanpa ambang batas) dan 1.96% WER dan 89.28% SAcc (dengan ambang batas) pada data berlatar belakang hijau. Mesin translasi gerakan isyarat menjadi teks tanpa metode deblurring memerlukan TC 0.8036 detik per frame dan setelah menambahkan metode deblurring menjadi 0.8650 detik per frame (tanpa ambang batas) dan 0.8436 detik per frame (dengan ambang batas).

---

Learning sign language isn’t something easy to do. To help learning sign language, born machine sign language translation to text that can be read. For widely usage, there is a machine for translating gestures into text using a smartphone. Text result from machine translation depend on input sign language sequence frame. This input can be obtain from smartphone video recording. When sign language movement is faster than camera frame rate, recording result become blurry. Blurry record will make machine translation can’t make good prediction. One of the solution to reduce blur on the image is by doing deblurring. This research will use DeblurGAN-v2 as method to reduce image blurry rate on frame and test it on machine sign language SIBI translation to text. Machine sign language SIBI translation to text gain good text result on greenscreen background. Result Nugraha dan Rakun (2022) obtain 2,986% WER (Word Error Rate), 83,434% SAcc (Sentence Accuracy), and TC (Time Computation) using RetinaNet at 0.038 seconds per frame on background greenscreen data. Evaluation result also found a lack of of predictive quality due to blurred frame input. This research attempts to overcome the blurred frame problem by combining deblurring method to inside machine sign language translation system and measure performance with WER, SAcc, and TC. There is an addition of TC due to the addition of the deblurring method and to reduce TC, a threshold value is used so not all frames are deblurred. The researcher found that by adding deblurring process, there was an improvement on machine sign language translation from 2.37% WER and 87.85% SAcc to 1.95% WER and 89.28% SAcc (without threshold) and 1.96% WER and 89.28% SAcc (with threshold) on background greenscreen data. Machine for translating gestures into text without deblurring method need TC 0.8036 seconds per frame and after adding deblurring method become 0.8650 seconds per frame (without threshold) and 0.8436 seconds per frame (with threshold)."

"Para penyandang tunarungu berkomunikasi menggunakan bahasa isyarat resmi di Indonesia, yaitu SIBI (Sistem Isyarat Bahasa Indonesia). Dengan menggunakan aplikasi penerjemah Bahasa isyarat ke teks akan membantu komunikasi antara tunarungu maupun non-tunarungu. Dengan menggunakan pre-trained model CPM (EdvardHua, 2018) akan mendapatkan informasi berupa titik-titik skeleton seperti titik tangan, bahu, dan siku. Informasi titik skeleton itu akan digunakan untuk memprediksi kata. Namun, proses tersebut perlu berjalan secara real-time, yaitu ketika pengguna membuka kamera maka akan langsung mendapatkan respon. Untuk mencapai itu diperlukan mobile deep learning framework, sehingga proses inference bisa menjadi lebih cepat dengan bantuan runtime GPU. Penelitian ini berfokus menjalankan inference menggunakan mobile deep learning framework untuk implementasi modul ekstraksi skeleton secara real-time pada Android. Pada penelitian ini digunakan Tensorflow mobile (runtime hanya CPU), MACE, dan SNPE. Dilakukan pengukuran dari sisi latency, penggunaan energi, penggunaan memori, penggunaan daya, dan perubahan suhu. Hasil pengukuran menunjukkan bahwa penggunaan MACE dan SNPE dengan runtime GPU menghasilkan latency yang lebih kecil dibandingkan penggunaan CPU. Penggunaan CPU menyebabkan thermal throttling, sehingga terjadi penurunan kinerja. Dengan runtime GPU menghasilkan penggunaan energi, memori, dan daya yang lebih sedikit dibandingkan CPU. Kenaikan suhu ketika menggunakan runtime GPU lebih kecil dibandingkan CPU.

---

People with hearing impairments use the official sign language in Indonesia, namely SIBI (Sistem Isyarat Bahasa Indonesia). Using a sign language-to-text translator application will help the communication between people with hearing impairments and people without hearing impairment. By using the pre-trained CPM model (EdvardHua, 2018), the information in the form of skeleton points such as the points of the hands, shoulders, and elbows will be obtained. The skeleton point information will be used to predict its translation words. However, the translation process needs to be run in real- time, which is when users open their cameras then they will immediately receive a respond. To achieve that goal, we need a mobile deep learning framework, with the result that the inference process is faster with the help of the GPU runtime. This research focuses on running inferences using a mobile deep learning framework to implement real-time skeleton extraction module in Android. This research uses Tensorflow mobile (runtime only for CPU), MACE, and SNPE. Measurements of the latency, energy usage, memory usage, power usage, and temperature change were taken. The measurement results show that the use of MACE and SNPE with GPU runtime is in lower latency than with the use of CPU. Measurement with CPU usage causes thermal throttling, resulting in decreased performance. Measurement with GPU runtime results in lower usage of energy, memory and power compared to the measurement with CPU. The temperature increase when using the GPU runtime is lower than when using the CPU."

"Hasil rekaman kamera ponsel rentan memiliki blur terutama jika ada objek bergerak seperti rekaman bahasa isyarat. Hal tersebut membuat usaha untuk melakukan interpretasi bahasa isyarat pada rekaman kamera ponsel menjadi terhambat karena terjadi blur pada bagian tangan peraga bahasa isyarat. Penelitian ini berusaha melakukan perbaikan hasil rekaman peragaan bahasa isyarat yang direkam dengan kamera ponsel menggunakan partial deblur dan DeblurGANv2. Partial Deblur adalah metode deblur yang dikembangkan dalam penelitian ini untuk menghindari melakukan deblur pada bingkai utuh melainkan hanya melakukan deblur pada bagian bingkai yang blur karena pergerakan objek (partial) demi mengurangi waktu deblur. Partial Deblur bekerja dengan mencari partial berdasarkan pergerakan dari dua buah bingkai berdekatan dalam satu sekuens bingkai yang sama. Partial yang telah didapatkan kemudian dilakukan deblur menggunakan DeblurGANv2 dengan pretrained model. Setelah Partial Deblur selesai dikembangkan, performanya dibandingkan dengan deblur bingkai utuh menggunakan DeblurGANv2. Performa yang dibandingkan adalah peningkatan skor blur, waktu yang dibutuhkan untuk deblur, dan analisis subjektif hasil deblur kedua metode. Hasil eksperimen menunjukkan bahwa Partial Deblur berhasil mendapatkan partial yang berisi bagian bingkai yang blur karena pergerakan objek dan peningkatan skor blur bingkai dari deblur bingkai menggunakan DeblurGANv2 hampir sama dengan peningkatan skor blur partial dari Partial Deblur. Selain itu, waktu rata-rata yang dibutuhkan Partial Deblur untuk memproses suatu sekuens hanya 1/8 kali dari pada menggunakan deblur bingkai dengan DeblurGANv2. Namun, hasil analisis subjektif terhadap hasil deblur menunjukkan bahwa DeblurGANv2 yang digunakan untuk melakukan deblur partial dalam metode partial deblur dan deblur bingkai belum berhasil memperbaiki bagian yang blur karena pergerakan objek.

---

Video recordings of smartphone cameras are susceptible to blur, especially if exist a fast-moving object like sign language video recordings. Blurs in the area of hands of sign language demonstrator will result in inaccuracies when in the attempt of sign language interpretation using the developed smartphone app. This study tries to improve the results of the sign language demonstration recorded with a smartphone camera using Partial Deblurring and DeblurGANv2. Partial Deblurring is a deblurring method that was developed in this research to avoid doing deblur on the whole frame but only doing deblur parts of the frame that is blurry due to object movement (partial) in order to reduce time cost. Partial Deblurring works by finding partials based on the movement of two adjacent frames in the same frame sequence. Partials that have been obtained are then deblurred using DeblurGANv2 with a pretrained model. After Partial Deblurring has been developed, its performance is compared to full-frame deblurring using DeblurGANv2. The performance compared is the increase in the blur score (using variance of laplacian), time cost for deblur, and subjective analysis of the results of the deblur of the two methods. The experimental results show that Partial Deblurring managed to obtain partials that contain parts of the frame that is blurred due to object movement, and the increase of blur score in the area being deblurred is almost the same as that of full-frame deblurring. In addition, the average time required for Partial Deblurring to process a sequence of frames is only 1/8 times that of using full-frame deblurring. However, the results of the subjective analysis show that the DeblurGANv2 used to perform deblurring in the Partial Deblurring and full-frame deblurring methods has not succeeded in correcting the blurred parts where extreme movements happen."

"Bahasa Isyarat Indonesia (BISINDO) merupakan salah satu bahasa isyarat yang banyak digunakan kaum Tuli di Indonesia karena dianggap lebih alami sehingga lebih mudah digunakan. BISINDO digunakan kaum Tuli untuk berkomunikasi dengan orang lain dalam kegiatan sehari-harinya. Namun, pada kenyataannya, masih banyak orang yang belum mengerti bahasa isyarat. Hal tersebut menjadi kendala bagi orang Tuli untuk berkomunikasi dengan orang dengar dan sebaliknya. Perkembangan teknologi yang semakin maju memberikan suatu solusi untuk masalah tersebut. Pada penelitian ini akan dikembangkan model untuk mengenali gerakan isyarat BISINDO dengan menggunakan MobileNetV2 dan Long Short-Term Memory (LSTM). MobileNetV2 digunakan pada tahap feature extraction sedangkan LSTM digunakan pada tahap klasifikasi gerakan isyarat. Dataset yang digunakan pada penelitian ini berupa video 40 kalimat yang direkam dengan menggunakan kamera smartphone dan diperagakan oleh empat orang Tuli dari Laboratorium Riset Bahasa Isyarat FIB UI (LRBI FIB UI). Terdapat tahapan preprocessing untuk mendapatkan bagian tangan dan wajah yang merupakan fitur penting untuk membedakan gerakan isyarat. Penelitian ini menghasilkan model LSTM 1-layer bidirectional sebagai model terbaik dengan akurasi tertinggi sebesar 91,53%.

---

Indonesian Sign Language (BISINDO) is a sign language that is widely used by deaf people in Indonesia because it is a natural language and therefore it is easier to use. BISINDO is used by deaf people to communicate in their daily activities. However, in reality, there are many people who do not understand sign language. This becomes a problem for deaf people to communicate with hearing people and vice versa. Nowadays, the development of technology is more advanced give a solution to this problem. In this research, a model will be developed to recognize BISINDO gestures using MobileNetV2 and Long Short-Term Memory (LSTM). MobileNetV2 will be used in a feature extraction stage while LSTM will be used in the gesture classification stage. The dataset used in this study is a video recording of 40 sentences recorded using a smartphone camera and it was demonstrated by four deaf people from the research laboratory of sign language FIB UI (LRBI FIB UI). There is a preprocessing stage to get the hand and facial parts which are important features for distinguishing the gesture of sign language. Then, the result of this study is a model LSTM 1-Layer Bidirectional as the best model with the highest accuracy is 91,53%."

"Bahasa isyarat menjadi sarana utama bagi penyandang tunarungu untuk berkomunikasi. Kemampuan penyandang tunarungu untuk beradaptasi dengan lingkungannya ditentukan dari seberapa baik komunikasi dua arah dapat dilakukan dengan bahasa isyarat. Adanya smartphone sebagai teknologi yang umum digunakan masyarakat luas dapat menjadi sarana bagi masyarakat untuk berkomunikasi dengan penderita tunarungu. Penelitian ini berfokus pada pengembangan aplikasi yang mampu mengimplementasikan sistem penerjemah SIBI pada smartphone Android. Penelitian ini menggunakan hasil freeze model yang dikembangkan oleh peneliti sebelumnya yaitu MobileNetV2, CRF, dan LSTM. Ketiga model tersebut berjalan sebagai serangkaian proses dan digunakan untuk memproses data video gerakan isyarat. Keluaran dari sistem penerjemah ini adalah terjemahan isyarat dalam bentuk teks. Penelitian ini juga melakukan percobaan untuk meningkatkan kinerja MobileNetV2 dengan menerapkan parallel processing dengan dua hingga empat inference. Berdasarkan hasil percobaan, sistem penerjemah yang dikembangkan mampu menerjemahkan bahasa isyarat dengan akurasi kata 90,560%, akurasi kalimat 64%, dan waktu penerjemahan rata- rata 20 detik. Penggunaan parallel processing dapat meningkatkan kinerja MobileNetV2 sebesar 54%.

---

Sign language is the main media for deaf people to communicate. The ability of people with hearing impairment to adapt to their environment is determined by how well two-way communication can be done with sign language. The existence of a smartphone as a technology that is commonly used by the wider community can be a means for the community to communicate with people with hearing impairment. This research focuses on developing applications that is able to implement the SIBI translator system on Android smartphones. This study uses the results of the freeze model developed by previous researchers, which are MobileNetV2, CRF, and LSTM. The three models operate as a series of processes and are used to process sign language gesture video. The output of this translator system is sign language translation in text form. This study also conducted an experiment to improve the performance of MobileNetV2 by implementing parallel processing with two to four inferences. Based on the experimental results, the translator system developed was able to translate sign language with an word accuracy of 90.560%, sentence accuracy 64%, and an average translation time of 20 seconds. The use of parallel processing can improve the performance of MobileNetV2 by 54%."

"Keterbatasan mendengarkan suara tunarungu menyebabkan kemampuan berbahasa penyandang tunarungu tidak dapat berkembang sebagaimana mestinya. Untuk mengganti komunikasi lisan penyandang tunarungu menggunakan bahasa isyarat dalam berkomunikasi. SIBI (Sistem Isyarat Bahasa Indonesia) adalah salah satu sistem bahasa isyarat di Indonesia yang bekerja dengan merepresentasikan tata bahasa lisan Indonesia ke dalam isyarat gerakan. Perkembangan teknologi aplikasi mobile yang pesat merupakan sebuah peluang untuk dapat menyediakan aksesibilitas pada penyandang tunarungu. Oleh karena itu, penelitian ini membahas pengembangan aplikasi mobile untuk menerjemahkan teks Bahasa Indonesia menjadi gerakan isyarat SIBI. Penelitian ini membahas mengenai pengembangan aplikasi mobile berdasarkan penelitian Darmana (2019) tentang pembangkitan gerakan isyarat SIBI. Penelitian ini menerapkan metode desain user centered design (UCD) yang dilakukan dalam 2 kali iterasi yang berisi tahapan analisis kebutuhan pengguna, perancangan desain interaksi, pengembangan aplikasi, evaluasi, dan perbaikan aplikasi. Proses pengembangan desain dan implementasi aplikasi didasarkan kepada kebutuhan pengguna yang didapatkan melalui wawancara. Pada penelitian dilakukan 2 kali evaluasi pada aplikasi untuk mendapatkan umpan balik yang digunakan sebagai dasar perbaikan. Pada akhir penelitian juga dilakukan uji usability menggunakan SUS dan uji waktu eksekusi. Hasilnya, didapatkan bahwa aplikasi hasil berhasil memenuhi kebutuhan pengguna yang didapatkan, dan memiliki usability yang baik.

---

The limitation of listening causes the language skills of people with hearing impairment can not be developed as they should. To replace their verbal communication, people with hearing impairment use sign language to do communication. SIBI (Sistem Isyarat Bahasa Indonesia) is one of the sign language systems in Indonesia that works by representing Indonesian spoken grammar into hand gestures. On the other hand, the rapid development of mobile application technology is an opportunity to provide accessibility to people with hearing impairment. Therefore, this research discusses the development of a mobile application to translate Indonesian text into SIBI gestures. This study discusses the development of mobile applications based on Darmana (2019) research on the generation of SIBI gestures. This study applies the user centered design (UCD) design method which is carried out in 2 iterations that contains the stages of user needs analysis, interaction design, application development, evaluation, and application improvement. The development of application design and the application implementation is based on user needs obtained through interviews. In the study the 2 evaluations are used to get feedbacks that is used as a base for improvement. At the end of the study an SUS test and an execution time test were also conducted. It was found that the application successfully meet the user requirements and has a good usability.

"

"

Bahasa isyarat merupakan suatu tatanan gerakan yang mewakili suatu kosakata pada bahasa tertentu dan memiliki fungsi untuk membantu penyandang tunarungu dalam mengatasi masalah berkomunikasi. Namun tidak semua masyarakat umum menguasai bahasa isyarat. Dari permasalahan tersebut, sistem penerjemah bahasa isyarat diperlukan dalam membantu proses komunikasi penyandang tunarungu. Sistem penerjemah memerlukan sebuah video gerakan bahasa isyarat untuk kemudian dapat dikenali Dalam sebuah video utuh yang berisi satu sequence gerakan kalimat isyarat terdapat dua jenis gerakan yaitu gerakan isyarat (gesture) yang mengandung arti dan gerakan transisi (non gesture). Pada penelitian ini diusulkan metode untuk menngenali gesture dan non gesture pada kalimat SIBI (Sistem Isyarat Bahasa Indonesia) menggunakan Threshold Conditional Random Field (TCRF). Data yang digunakan adalah 2.255 video rekaman gerakan untuk 28 isyarat kalimat pada SIBI yang di peragakan oleh  tiga orang guru dan dua orang murid dari SLB Santi Rama Jakarta. Untuk merepresentasikan data, pada penelitian ini dibandingkan teknik ekstraksi fitur skeleton, image, gabungan (gabungan antara fitur skeleton dan fitur image) dan MobileNetV2. Untuk klasifikasi digunakan metode TCRF dengan variasi nilai threshold dari 1 sampai 4. Berdasarkan hasil eksperimen, masing-masing teknik ekstraksi fitur menghasilkan akurasi terbaik sebesar 72.5% untuk skeleton dengan threshold 2, 70.3% untuk image dengan threshold 2, 68.5% untuk gabungan dengan threshold 2 dan 93.2% untuk MobileNetV2 dengan threshold 1.5. Berdasarkan akurasi tersebut teknik ekstraksi fitur dengan model MobileNetV2 dapat merepresentasikan data lebih baik dibandingkan dengan ekstraksi skeleton, image, dan gabungan

---

Sign language is a series of movements that represent the vocabulary of a particular language and is designed to help the hearing-impaired communicate. However, not everyone is familiar with the sign language gestures, so a sign language translation system would aid communication by allowing more people to understand sign language gestures. A video that contains a sequence of sign sentences with two types of movements, namely sign movements (word-gestures) which have represent language constructs, and transitional movements (transitional-gesture). A method to identify both word-gestures and transitional-gestures in a variant of the Indonesian Sign Language System called Sistem Isyarat Bahasa Indonesia (hereafter referred to as SIBI) sentences based on the Threshold Conditional Random Field (TCRF) was implemented. The dataset on which the model is trained, consists of 2,255 videos containing recorded movements for 28 commonly used sentences in SIBI, performed by three teachers and two students of the Santi Rama School (Sekolah Luar Biasa), a school for hearing-impaired students. Several feature extraction techniques were tested, including skeleton, image, skeleton-image combination and MobileNetV2. The classification method uses TCRF with variations in TCRF threshold values between 1 to 4 to recognize word-gestures and transitional-gestures, then deleting frames with transitional-gestures label, and obtaining accuracy from LSTM that recognizes words from the per-frame word-gesture label. The best accuracies achieved by each method were 72.5% for skeleton technique with a TCRF threshold of 2; 70.3% for image technique with a TCRF threshold of 2; 68.5 % for skeleton-image combination, with a TCRF threshold of 2; and 93.2% for MobileNetV2 with threshold 1.5. Using MobileNetV2 as a feature extractor yields significantly better results than previous feature extraction methods.

"