Hasil Pencarian  ::  Simpan CSV :: Kembali

"ABSTRAKSIBI merupakan bahasa isyarat resmi bagi penyandang tunarungu di Indonesia. Dalam pembentukan isyarat, SIBI mengikuti aturan tata bahasa Indonesia. Untuk membentuk isyarat kata berimbuhan, maka isyarat imbuhan awalan, akhiran dan partikel ditambahkan ke isyarat kata dasar. Karena banyak isyarat SIBI merupakan isyarat kata berimbuhan dan belum ada penelitian tentang kata tersebut, maka penelitian ini fokus pada membangun sistem penerjemah kata berimbuhan SIBI ke teks. Gerakan isyarat ditangkap oleh kamera Kinect yang menghasilkan data color, depth dan skeleton. Data Kinect ini diolah menjadi fitur yang dipakai oleh model untuk mengenali gerakan. Sistem penerjemah memerlukan teknik ekstraksi fitur, yang dapat menghasilkan sebuah feature vector set dengan ukuran yang minimal. Penelitian ini berusaha untuk dapat memisahkan isyarat imbuhan dan kata dasar pada isyarat kata berimbuhan. Dengan kemampuan ini, sistem penerjemah menghasilkan 3 feature vector set: kata dasar, awalan dan akhiran. Tanpa pemisahan, feature vector set yang harus disediakan adalah sebanyak perkalian cartesian dari ketiga feature vector set tersebut. Perkalian ketiga set ini tentunya akan menghasilkan feature vector set total yang berukuran sangat besar. Model yang dicoba pada penelitian ini adalah Conditional Random Fields, Hidden Markov Model, Long Short-Term Memory Neural Networks LSTM dan Gated Recurrent Unit. Akurasi yang terbaik yang dicapai oleh untuk LSTM 2-layer 77.04 . Keunggulan dari LSTM terletak pada inputnya yang berupa sequence-of-frames dan setiap frame direpresentasi oleh fitur lengkap, bukan fitur hasil clustering. Model sequence-of-frames lebih cocok untuk SIBI, karena gerakan isyarat SIBI memiliki long-term temporal dependencies. Error hasil prediksi banyak terjadi pada kelompok awalan dan akhiran. Hal ini karena miripnya gerakan pada isyarat-isyarat imbuhan SIBI tersebut. LSTM 2-layer yang dipakai untuk mengenali kata dasar saja memberikan akurasi yang tertinggi 95.4 .

---

ABSTRACTSIBI is the official sign language system for the Indonesian language. The formation of SIBI gestures follow Indonesian grammar rules, including inflectional words. Inflectional words are root words with prefixes, infixes, and suffixes, or a mix of the three. Inflectional gestures are made from root word gestures, with prefix, suffix and particle gestures added in the order in which they appear, all of which is unique to SIBI. This research aims to find a suitable model that can quickly and reliably perform SIBI to text translation on inflectional word gestures. The hand movement of the signer is captured by a Kinect camera. The Kinect data was then processed to yield features for the models to use recognize the gestures. Extant research have been able to translate the alphabet, root words, and numbers from SIBI to text, but none has been able to translate SIBI inflectional word gestures. In order for the translation system to work as efficiently as possible, this research developed a new method that splits an inflectional word into three feature vector sets root, prefix, suffix . This ensures that a minimally descriptive feature sets are used. Without using this, the feature sets would otherwise be as big as the Cartesian product of the prefixes, suffixes and root words feature sets of the inflectional word gestures. Four types of machine learning models were tested Conditional Random Fields, Hidden Markov Model, Long Short Term Memory Net, dan Gated Recurrent Unit. The 2 layer LSTM, with an accuracy of 77.04 , has been proven to be the most suitable. This model 39 s performance is due to the fact that it can take entire sequences as input and doesn 39 t rely on pre clustered per frame data. The 2 layer LSTM performed the best, being 95.4 accurate with root words. The lower accuracy with inflectional words is due to difficulties in recognizing prefix and suffix gestures."

"SIBI (Sistem Isyarat Bahasa Indonesia) merupakan bahasa isyarat resmi yang digunakan oleh penyandang tunarungu di Indonesia untuk berkomunikasi sehari- hari baik dengan sesama penyandang tunarungu maupun orang non-tunarungu. Adanya aplikasi penerjemah gerakan Bahasa isyarat ke teks akan sangat membantu proses komunikasi antara tunarungu dan non-tunarungu. Salah satu fitur yang dibutuhkan untuk pengembangan model penerjemah SIBI adalah informasi kerangka manusia (skeleton). Penelitian ini bertujuan untuk mengembangkan metode ekstraksi fitur kerangka manusia dari citra video telepon pintar untuk melatih model pembelajaran mesin LSTM (Long Short-Term Memory) pengenal gerakan kata dasar SIBI. Metode ekstraksi fitur yang dikembangkan menggunakan Haar Cascade untuk identifikasi titik bahu, algoritma Lucas-Kanade untuk melacak titik tangan, dan menggunakan interpolasi antara titik bahu dan tangan untuk mengidentifikasi titik siku. Dari titik-titik skeleton tersebut, dihitung sudut antara bahu dan lengan atas, serta bahu dan lengan bawah. Hasil ekstraksi digunakan sebagai input untuk model pembelajaran mesin LSTM yang telah dikembangkan sebelumnya. Penelitian ini berhasil mengembangkan metode ekstraksi skeleton yang saat dimasukkan ke model LSTM menghasilkan model dengan akurasi terbaik hingga 84.64%. Model dengan akurasi terbaik tersebut adalah model LSTM 2 layer dan dilatih dengan parameter jumlah hidden unit 512, jumlah batch 100, dan iterasi training 1800 epoch.

---

SIBI (Indonesian Language Sign System) is the official sign language system used by deaf people in Indonesia to communicate with each other and with non-deaf people. An application that can translate the sign language movement from video to text would be very useful to help communication between deaf and non-deaf people. One of the features needed to develop a model to translate sign language gesture is the subject’s skeleton. This research aims to develop a method to extract skeleton feature from smartphone video image to be used to train an LSTM (Long Short-Term Memory) machine learning model to translate gestures of SIBI base words. The developed method used Haar Cascade to identify shoulder points, Lucas-Kanade Algorithm to track hand points, and interpolate elbow points based on the location of previously known shoulder and hand points. From those skeleton points, the angles between shoulder and upper arm, and the shoulder between upper and lower arm are computed. This extraction result is then fed into a previously- developed LSTM machine learning model as training data. This research successfully develops a skeleton extraction method that when fed into LSTM model resulted in a model that can achieve accuracy up to 84.64%. This best model is LSTM with 2 layers, and trained with 512 hidden units, 100 batch size, and 1800 training epoch."

"

Bahasa isyarat merupakan suatu tatanan gerakan yang mewakili suatu kosakata pada bahasa tertentu dan memiliki fungsi untuk membantu penyandang tunarungu dalam mengatasi masalah berkomunikasi. Namun tidak semua masyarakat umum menguasai bahasa isyarat. Dari permasalahan tersebut, sistem penerjemah bahasa isyarat diperlukan dalam membantu proses komunikasi penyandang tunarungu. Sistem penerjemah memerlukan sebuah video gerakan bahasa isyarat untuk kemudian dapat dikenali Dalam sebuah video utuh yang berisi satu sequence gerakan kalimat isyarat terdapat dua jenis gerakan yaitu gerakan isyarat (gesture) yang mengandung arti dan gerakan transisi (non gesture). Pada penelitian ini diusulkan metode untuk menngenali gesture dan non gesture pada kalimat SIBI (Sistem Isyarat Bahasa Indonesia) menggunakan Threshold Conditional Random Field (TCRF). Data yang digunakan adalah 2.255 video rekaman gerakan untuk 28 isyarat kalimat pada SIBI yang di peragakan oleh  tiga orang guru dan dua orang murid dari SLB Santi Rama Jakarta. Untuk merepresentasikan data, pada penelitian ini dibandingkan teknik ekstraksi fitur skeleton, image, gabungan (gabungan antara fitur skeleton dan fitur image) dan MobileNetV2. Untuk klasifikasi digunakan metode TCRF dengan variasi nilai threshold dari 1 sampai 4. Berdasarkan hasil eksperimen, masing-masing teknik ekstraksi fitur menghasilkan akurasi terbaik sebesar 72.5% untuk skeleton dengan threshold 2, 70.3% untuk image dengan threshold 2, 68.5% untuk gabungan dengan threshold 2 dan 93.2% untuk MobileNetV2 dengan threshold 1.5. Berdasarkan akurasi tersebut teknik ekstraksi fitur dengan model MobileNetV2 dapat merepresentasikan data lebih baik dibandingkan dengan ekstraksi skeleton, image, dan gabungan

---

Sign language is a series of movements that represent the vocabulary of a particular language and is designed to help the hearing-impaired communicate. However, not everyone is familiar with the sign language gestures, so a sign language translation system would aid communication by allowing more people to understand sign language gestures. A video that contains a sequence of sign sentences with two types of movements, namely sign movements (word-gestures) which have represent language constructs, and transitional movements (transitional-gesture). A method to identify both word-gestures and transitional-gestures in a variant of the Indonesian Sign Language System called Sistem Isyarat Bahasa Indonesia (hereafter referred to as SIBI) sentences based on the Threshold Conditional Random Field (TCRF) was implemented. The dataset on which the model is trained, consists of 2,255 videos containing recorded movements for 28 commonly used sentences in SIBI, performed by three teachers and two students of the Santi Rama School (Sekolah Luar Biasa), a school for hearing-impaired students. Several feature extraction techniques were tested, including skeleton, image, skeleton-image combination and MobileNetV2. The classification method uses TCRF with variations in TCRF threshold values between 1 to 4 to recognize word-gestures and transitional-gestures, then deleting frames with transitional-gestures label, and obtaining accuracy from LSTM that recognizes words from the per-frame word-gesture label. The best accuracies achieved by each method were 72.5% for skeleton technique with a TCRF threshold of 2; 70.3% for image technique with a TCRF threshold of 2; 68.5 % for skeleton-image combination, with a TCRF threshold of 2; and 93.2% for MobileNetV2 with threshold 1.5. Using MobileNetV2 as a feature extractor yields significantly better results than previous feature extraction methods.

"

"SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM.

---

SIBI is a sign language that is officially used in Indonesia. The use of SIBI is often found to be a problem because of the many gestures that have to be remembered. This study aims to recognize SIBI gestures by extracting hand and facial features which are then classified using Bidirectional Long ShortTerm Memory (BiLSTM). The feature extraction used in this research is Deep Convolutional Neural Network (DeepCNN) such as ResNet50 and MobileNetV2, where both models are used as a comparison. This study also compares the performance and computational time between the two models which is expected to be applied to smartphones later, where both models can now be implemented on smartphones. The results showed that the use of ResNet50-BiLSTM model have better performance than MobileNetV2-BiLSTM which is 99.89\%. However, if it will be applied to mobile architecture, MobileNetV2-BiLSTM is superior because it has a faster computational time with a performance that is not significantly different when compared to ResNet50-BiLSTM."

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"Bahasa Isyarat adalah bahasa yang digunakan kebanyakan oleh kaum tuna rungu dan tuna wicara yang tidak bisa berkomunikasi secara audio, hal ini menimbulkan kesenjangan dalam berkomunikasi terlebih dalam kemampuan tuna rungu dan tuna wicara dalam melaksanakan kehidupannya sehari – hari khususnya saat ingin melamar kerja. Penelitian ini dilakukan untuk mempermudah komunikasi antara pengguna bahasa isyarat dengan mereka yang tidak memahami bahasa isyarat, dimana dengan adanya sistem ini maka translasi bahasa isyarat ke Bahasa Indonesia akan dilakukan secara automatis dan ini akan membantu bagaimana kaum tuna wicara dan tuna rungu berkomunikasi dengan mereka yang tidak memahami bahasa isyarat sehingga ini akan berdampak dimana para pengguna bahasa isyarat bisa memiliki kesempatan yang sama dengan semua orang dalam proses pelamaran kerja dan mendapatkan pekerjaan yang layak. Sistem pengenalan bahasa isyarat ini bekerja dengan menerima bahasa isyarat yang disampaikan oleh seseorang secara real-time dan kemudian mengenalinya sebagai arti kata dari bahasa isyarat tersebut ke Bahasa Indonesia. Pada penelitian ini OpenCV digunakan sebagai metode pengambilan gambar dalam waktu nyata, serta algoritma YOLOv5 yang dibandingkan dengan SSD yang digunakan untuk memroses gambar tersebut serta menandakan yang mana objek yang dianggap sebagai bahasa isyarat dan mendeteksi artinya. Proses training dilakukan dengan dataset yang terdiri dari 463 citra training yang kemudian diaugmentasi sehingga berjumlah 1389 citra training. Model yang dihasilkan dari setiap algoritma yang digunakan dalam penelitian diuji menggunakan dataset testing lalu akan diuji dalam tahap real-time testing dan parameter yang digunakan untuk evaluasi kedua hasil model adalah akurasi atau (confidence score) sistem, precision, recall, dan F1 Score untuk masing – masing model dimana nilai perbandingan untuk nilai confidence score model YOLOv5 dan SSD adalah 100% : 87.66%. Sedangkan perbandingan nilai F1 Score untuk model YOLOv5 dan SSD adalah 1 : 0.9342. Penelitian ini juga menunjukkan bahwa Learning Rate dari Model SSD lebih tinggi dibanding Model YOLOv5 yaitu 0.08 : 0.009. Pada penelitian ini ditunjukkan bahwa algoritma YOLOv5 akan memiliki hasil presisi yang lebih baik dibandingkan algoritma SSD.

---

Sign Language is the method used mostly by deaf and mute people which are unable to communicate by audio . This difference in the way of communicating between each other creates a gap in communicating between the deaf and mute with normal people. This research is done with the intent to further make the communication between sign language user those that do not understand sign language by automatically translating the meaning of each sign language to Bahasa Indonesia. By doing this, this will ensure to help the mute and deaf people so that they will have the same opportunity to apply for a job just like those without disability. Sign language recognition works by detecting object in real time using camera and then recognize the sign made and show the meaning of that particular sign. This is made possible using OpenCV to take images in real time and the model SSD and YOLOv5 to process those images and label them using rectangular show which object on the picture is the sign language that needs to be recognized based on the available dataset which is the sign language that have already been taken before the test. The training process of this research is done using 463 training images which then augmented and becomes 1389 training images. The models created from training using both algorithms will be tested using testing images and then further tested using real-time testing and the parameter used for evaluation of those models are the confidence score of the system accuracy, precision, recall, and F1 Score which from this research shows that the comparison of confidence score of the system accuracy betweenYOLOv5 model and SSD model is 100% : 87.66%. On the other hand, the comparison of the F1 Score between YOLOv5 model and SSD model is 1 : 0,9342. This research shows that YOLOv5 model have better learning rate compared to SSD which is 0.08 : 0.009. The result from this research shows that YOLOv5 algorithm will have better score of precision compared to SSD algorithm."

"White Matter Hyperintensities (WMHs) merupakan neuroradiological features yang dapat dilihat pada T2-FLAIR brain MRI sebagai bagian putih (hyperintensities) dan merupakan karakteristik dari small vessel disease (SVD). Informasi detail terkait WMHs (lokasi, volume, dan distribusi) sangat diperlukan untuk membantu penanganan pasien. Akan tetapi melakukan segmentasi otomatis pada WMHs merupakan tantangan tersendiri karena ukuran, bentuk, dan letak WMHs yang tidak menentu. Hasil evaluasi dapat berubah bila test set berasal dari dataset yang berbeda dari train set, karena setiap dataset akan memiliki karakteristik yang berbeda. Penelitian ini mengusulkan model bernama Probabilistic Multi-compound Transformer (Probabilistic MCTrans) yang menggantikan model U-Net pada Probabilistic U-Net menjadi model MCTrans. Secara penelitian sebelumnya, model MCTrans dapat menyelesaikan permasalahan long-range dependencies dan model Probabilistic U-Net dapat menangkap ambiguitas dari citra medis, serta akan melakukan evaluasi cross-dataset robustness untuk mengetahui performa model bila train set berbeda sumber dari test set. Dari hasil evaluasi menunjukan bahwa Probabilistic MCTrans memiliki performa yang lebih rendah dibandingkan dengan Probabilistic U-Net. Akan tetapi Probabilistic MCTrans memiliki performa lebih baik dibandingkan dengan MCTrans. Hal tersebut dapat terjadi karena ambiguitas yang ditangkap Probabilistic MCTrans lebih banyak dari Probabilistic U-Net dan ambiguitas banyak terjadi di border WMHs. 

---

White Matter Hyperintensities are neuroradiological features that often seen in T2-FLAIR brain MRI as hyperintensities and characteristic of small vessel disease (SVD). Detailed information of WMHs (i.e. location, volume, and distribution) are needed in clinical research to help treat patients. However, automatic segmentation on WMHs is still challenging due to uncertain volume, shape, and location of WMHs. Evaluation results may change if test set came from different dataset as train set, because every dataset have their own characteristic. In this study, we propose a model called Probabilistic Multi-compound Transformer (Probabilistic MCTrans), that replace U-Net from Probabilistic U-Net’s with MCTrans. In previous study, model MCTrans can solved long-range dependencies problem and model Probabilistic U-Net can capture ambiguity in biomedical image, also we would like to evaluate on cross-dataset robustness to determine performance model when the train set differs in source from the test set. The evaluation results show that Probabilistic MCTrans has a lower performance than Probabilistic U-Net. However, Probabilistic MCTrans has better performance than MCTrans. Furthermore, the ambiguity captured by Probabilistic MCTrans is more than Probabilistic U-Net and the ambiguity is around the border of WMHs. "

"Bahasa isyarat umumnya dilakukan oleh tuna rungu dan tuna wicara yang menimbulkan kesenjangan dalam berkomunikasi khususnya saat melamar pekerjaan. Ada hambatan komunikasi yang dirasakan saat proses pencarian kerja dimana pada tahun 2020 menyebutkan bahwa penyandang disabilitas yang bekerja sebanyak 7,67 juta orang (5,98% dari total pekerja di Indonesia) dibandingkan dengan jumlah pekerja dengan disabilitas di Indonesia mencapai 720.748 orang (0,53% dari total pekerja di Indonesia) pada tahun 2022 menurut BPS (Badan Pusat Statistik). Penurunan persentase dalam lapangan kerja sebagian besar disebabkan oleh praktik perekrutan yang diskriminatif oleh banyak perusahaan. Jadi, dibutuhkan sistem deteksi bahasa isyarat yang dapat mempermudah dalam penerjemahan bahasa isyarat supaya kesempatan pengguna bahasa isyarat sama dengan semua orang dalam proses pelamaran kerja dan mendapatkan pekerjaan yang layak. Skenario pengambilan data adalah dengan 2 skenario, yaitu data non augmented dan augmented. Proses training dengan dataset yang terdiri atas 348 citra training yang lalu diaugmentasi sehingga berjumlah 1.044 citra training. Hasil pengujian dengan real-time testing dilakukan dengan evaluasi model menggunakan parameter akurasi sistem (confidence score), precision, recall, dan F1 Score untuk setiap model dimana nilai confidence score model Faster R-CNN dan RetinaNet adalah 96,67% : 93,33%. Selain itu, perbandingan nilai F1 Score untuk model Faster R-CNN dan RetinaNet adalah 0,98 : 0,97, tingkat akurasi mAP Faster R-CNN dan RetinaNet yang non augmented adalah 95,3% : 90,6%, sedangkan mAP Faster R-CNN dan RetinaNet yang augmented adalah 92,1% : 88,2%. Melalui hasil tersebut diperoleh bahwa kedua model memiliki presisi yang lebih rendah saat sudah diaugmentasi. Maka dari itu, algoritma Faster R-CNN memiliki hasil presisi lebih akurat dibandingkan algoritma RetinaNet.

---

Sign language is generally used by the deaf and speech impaired which causes errors in communication, especially when applying for jobs. There are communication barriers that are felt during the job search process where in 2020 it is stated that 7,67 million people with disabilities work (5,98% of total workers in Indonesia) compared to the number of workers with disabilities in Indonesia reaching 720,748 people (0,53% of total workers in Indonesia) in 2022 according to BPS (Badan Pusat Statistik). The percentage decline in employment is largely due to discriminatory hiring practices by many companies. So, a sign language detection system is needed that can make it easier to translate sign language so that sign language users have the same opportunities as everyone else in the job application process and getting a decent job. The data collection scenario is with 2 scenarios, namely non-augmented and augmented data. The training process uses a dataset consisting of 348 training images which are then augmented so that the total is 1.044 training images. Test results using real-time testing were carried out by evaluating the model using system accuracy parameters (confidence score), precision, recall, and F1 Score for each model where the Confidence Score value for the Faster R-CNN and RetinaNet models was 96,67% : 93,33%. In addition, the comparison of the F1 Score values​​for the Faster R-CNN and RetinaNet models is 0,98 : 0,97, the accuracy level of the non-augmented mAP Faster R-CNN and RetinaNet is 95,3% : 90,6%, while the mAP Faster R-CNN and augmented RetinaNet are 92,1% : 88,2%. From these results, it was found that the two models had lower precision when they were augmented. Therefore, the Faster R-CNN algorithm has more accurate precision results than the RetinaNet algorithm."