Hasil Pencarian  ::  Simpan CSV :: Kembali

"

Sistem Isyarat Bahasa Indonesia (SIBI) adalah sistem bahasa isyarat yang diakui secara resmi oleh Departemen Pendidikan dan Kebudayaan Indonesia dan digunakan sebagai salah satu media komunikasi dalam proses pembelajaran di SLB (Sekolah Luar Biasa) bagi kaum tunarungu. Bagi kaum awam yang sama sekali tidak mengetahui gerakan isyarat SIBI tentunya akan mengalami kesulitan ketika harus berkomunikasi dengan kaum tunarungu. Berangkat dari hal tersebut, diperlukan suatu sistem penerjemah dari gerakan SIBI ke teks Bahasa Indonesia, ataupun sebaliknya dari teks Bahasa Indonesia ke gerakan SIBI. Penelitian ini merupakan tahapan awal dari sistem penerjemah dari teks Bahasa Indonesia ke bahasa isyarat yang memiliki fokus untuk melakukan proses pembangkitan gerakan isyarat dari suatu kalimat menjadi isyarat SIBI dalam bentuk animasi tiga dimensi gerakan tangan dan jari pada platform telepon pintar. Proses pembangkitan gerakan dimulai dari proses dekonstruksi kalimat menjadi komponen-komponen kata penyusunnya menggunakan look-up table kata berimbuhan, kata dasar, dan kamus slang. Komponen-komponen kata lalu direferensikan dengan animasi gerakannya. Data gerakan didapat melalui proses perekaman menggunakan sensor motion-capture perception neuron v2 yang mengacu pada kamus SIBI. Dalam proses penyusunan gerakan-gerakan SIBI, akan terdapat jeda antara gerakan awal menuju gerakan selanjutnya. Sehingga diperlukan beberapa gerakan transisi yang dibangkitkan menggunakan interpolasi cross-fading. Berdasarkan hasil evaluasi yang telah dilakukan, gerakan yang dibangkitkan dapat merepresentasikan gerakan SIBI yang benar dengan nilai akurasi terbesar 97.56%, dan 84% hasil pembangkitan dinyatakan Sangat Puas, 14% Puas, serta 2% Cukup.

---

Sign System for Bahasa Indonesia (SIBI) is the official sign language authorized by The Ministry of Education and Culture of Indonesia and being used as one of the communication media by School for Children with Special Needs (SLB) for people with hearing impairments in the process of learning. For people who have a lack of knowledge about SIBI gestures certainly will have difficulty to communicate with people with hearing impairments. Thus, a translation system from SIBI gestures to sentences in Bahasa Indonesia or vice versa is needed. This research is the initial stage of a translation system from sentences in Bahasa Indonesia to SIBI Gestures. The focus of this research is to generate sign gestures in the form of 3D Animation from a sentence input in text format and deployed on the smartphone device. The generation process started from deconstructing the input sentence into its word components using a look-up table that consists of affixes, root words, and a slang dictionary. Then, this word components referred to their gesture animations. The gesture data were recorded with motion-capture sensor Perception Neuron v2 and using the official SIBI Dictionary as reference. In the process of combining the SIBI gestures, a pause between the initial gesture and the next gesture has occurred. Thus, transition gestures also needed to be generated using the cross-fading interpolation. Based on evaluation results, generated gestures correctly represent smooth SIBI gestures with the largest accuracy score of 97.56% with a level of Very Satisfied 84%, Satisfied 14%, Fair 2%.

"

"SIBI (Sistem Isyarat Bahasa Indonesia) merupakan bahasa isyarat resmi yang digunakan oleh penyandang tunarungu di Indonesia untuk berkomunikasi sehari- hari baik dengan sesama penyandang tunarungu maupun orang non-tunarungu. Adanya aplikasi penerjemah gerakan Bahasa isyarat ke teks akan sangat membantu proses komunikasi antara tunarungu dan non-tunarungu. Salah satu fitur yang dibutuhkan untuk pengembangan model penerjemah SIBI adalah informasi kerangka manusia (skeleton). Penelitian ini bertujuan untuk mengembangkan metode ekstraksi fitur kerangka manusia dari citra video telepon pintar untuk melatih model pembelajaran mesin LSTM (Long Short-Term Memory) pengenal gerakan kata dasar SIBI. Metode ekstraksi fitur yang dikembangkan menggunakan Haar Cascade untuk identifikasi titik bahu, algoritma Lucas-Kanade untuk melacak titik tangan, dan menggunakan interpolasi antara titik bahu dan tangan untuk mengidentifikasi titik siku. Dari titik-titik skeleton tersebut, dihitung sudut antara bahu dan lengan atas, serta bahu dan lengan bawah. Hasil ekstraksi digunakan sebagai input untuk model pembelajaran mesin LSTM yang telah dikembangkan sebelumnya. Penelitian ini berhasil mengembangkan metode ekstraksi skeleton yang saat dimasukkan ke model LSTM menghasilkan model dengan akurasi terbaik hingga 84.64%. Model dengan akurasi terbaik tersebut adalah model LSTM 2 layer dan dilatih dengan parameter jumlah hidden unit 512, jumlah batch 100, dan iterasi training 1800 epoch.

---

SIBI (Indonesian Language Sign System) is the official sign language system used by deaf people in Indonesia to communicate with each other and with non-deaf people. An application that can translate the sign language movement from video to text would be very useful to help communication between deaf and non-deaf people. One of the features needed to develop a model to translate sign language gesture is the subject’s skeleton. This research aims to develop a method to extract skeleton feature from smartphone video image to be used to train an LSTM (Long Short-Term Memory) machine learning model to translate gestures of SIBI base words. The developed method used Haar Cascade to identify shoulder points, Lucas-Kanade Algorithm to track hand points, and interpolate elbow points based on the location of previously known shoulder and hand points. From those skeleton points, the angles between shoulder and upper arm, and the shoulder between upper and lower arm are computed. This extraction result is then fed into a previously- developed LSTM machine learning model as training data. This research successfully develops a skeleton extraction method that when fed into LSTM model resulted in a model that can achieve accuracy up to 84.64%. This best model is LSTM with 2 layers, and trained with 512 hidden units, 100 batch size, and 1800 training epoch."

"ABSTRAKSIBI merupakan bahasa isyarat resmi bagi penyandang tunarungu di Indonesia. Dalam pembentukan isyarat, SIBI mengikuti aturan tata bahasa Indonesia. Untuk membentuk isyarat kata berimbuhan, maka isyarat imbuhan awalan, akhiran dan partikel ditambahkan ke isyarat kata dasar. Karena banyak isyarat SIBI merupakan isyarat kata berimbuhan dan belum ada penelitian tentang kata tersebut, maka penelitian ini fokus pada membangun sistem penerjemah kata berimbuhan SIBI ke teks. Gerakan isyarat ditangkap oleh kamera Kinect yang menghasilkan data color, depth dan skeleton. Data Kinect ini diolah menjadi fitur yang dipakai oleh model untuk mengenali gerakan. Sistem penerjemah memerlukan teknik ekstraksi fitur, yang dapat menghasilkan sebuah feature vector set dengan ukuran yang minimal. Penelitian ini berusaha untuk dapat memisahkan isyarat imbuhan dan kata dasar pada isyarat kata berimbuhan. Dengan kemampuan ini, sistem penerjemah menghasilkan 3 feature vector set: kata dasar, awalan dan akhiran. Tanpa pemisahan, feature vector set yang harus disediakan adalah sebanyak perkalian cartesian dari ketiga feature vector set tersebut. Perkalian ketiga set ini tentunya akan menghasilkan feature vector set total yang berukuran sangat besar. Model yang dicoba pada penelitian ini adalah Conditional Random Fields, Hidden Markov Model, Long Short-Term Memory Neural Networks LSTM dan Gated Recurrent Unit. Akurasi yang terbaik yang dicapai oleh untuk LSTM 2-layer 77.04 . Keunggulan dari LSTM terletak pada inputnya yang berupa sequence-of-frames dan setiap frame direpresentasi oleh fitur lengkap, bukan fitur hasil clustering. Model sequence-of-frames lebih cocok untuk SIBI, karena gerakan isyarat SIBI memiliki long-term temporal dependencies. Error hasil prediksi banyak terjadi pada kelompok awalan dan akhiran. Hal ini karena miripnya gerakan pada isyarat-isyarat imbuhan SIBI tersebut. LSTM 2-layer yang dipakai untuk mengenali kata dasar saja memberikan akurasi yang tertinggi 95.4 .

---

ABSTRACTSIBI is the official sign language system for the Indonesian language. The formation of SIBI gestures follow Indonesian grammar rules, including inflectional words. Inflectional words are root words with prefixes, infixes, and suffixes, or a mix of the three. Inflectional gestures are made from root word gestures, with prefix, suffix and particle gestures added in the order in which they appear, all of which is unique to SIBI. This research aims to find a suitable model that can quickly and reliably perform SIBI to text translation on inflectional word gestures. The hand movement of the signer is captured by a Kinect camera. The Kinect data was then processed to yield features for the models to use recognize the gestures. Extant research have been able to translate the alphabet, root words, and numbers from SIBI to text, but none has been able to translate SIBI inflectional word gestures. In order for the translation system to work as efficiently as possible, this research developed a new method that splits an inflectional word into three feature vector sets root, prefix, suffix . This ensures that a minimally descriptive feature sets are used. Without using this, the feature sets would otherwise be as big as the Cartesian product of the prefixes, suffixes and root words feature sets of the inflectional word gestures. Four types of machine learning models were tested Conditional Random Fields, Hidden Markov Model, Long Short Term Memory Net, dan Gated Recurrent Unit. The 2 layer LSTM, with an accuracy of 77.04 , has been proven to be the most suitable. This model 39 s performance is due to the fact that it can take entire sequences as input and doesn 39 t rely on pre clustered per frame data. The 2 layer LSTM performed the best, being 95.4 accurate with root words. The lower accuracy with inflectional words is due to difficulties in recognizing prefix and suffix gestures."

"SIBI merupakan bahasa isyarat resmi yang digunakan di Indonesia. Penggunaan SIBI seringkali ditemukan permasalahan karena banyaknya gerakan isyarat yang harus diingat. Penelitian ini bertujuan untuk mengenali gerakan isyarat SIBI dengan cara mengekstraksi fitur tangan dan wajah yang kemudian diklasifikasikan menggunakan Bidirectional Long ShortTerm Memory (BiLSTM). Ekstraksi fitur yang digunakan dalam penelitian ini adalah Deep Convolutional Neural Network (DeepCNN) seperti ResNet50 dan MobileNetV2, di mana kedua model tersebut digunakan sebagai pembanding. Penelitian ini juga membandingkan performa dan waktu komputasi antara kedua model tersebut yang diharapkan dapat diterapkan pada smartphone nantinya, dimana model tersebut akan diimplementasikan. Hasil penelitian menunjukkan bahwa penggunaan model ResNet50-BiLSTM memiliki kinerja yang lebih baik dibandingkan dengan MobileNetV2-BiLSTM yaitu 99,89%. Namun jika akan diaplikasikan pada arsitektur mobile, MobileNetV2-BiLSTM lebih unggul karena memiliki waktu komputasi yang lebih cepat dengan performa yang tidak jauh berbeda jika dibandingkan dengan ResNet50-BiLSTM.

---

SIBI is a sign language that is officially used in Indonesia. The use of SIBI is often found to be a problem because of the many gestures that have to be remembered. This study aims to recognize SIBI gestures by extracting hand and facial features which are then classified using Bidirectional Long ShortTerm Memory (BiLSTM). The feature extraction used in this research is Deep Convolutional Neural Network (DeepCNN) such as ResNet50 and MobileNetV2, where both models are used as a comparison. This study also compares the performance and computational time between the two models which is expected to be applied to smartphones later, where both models can now be implemented on smartphones. The results showed that the use of ResNet50-BiLSTM model have better performance than MobileNetV2-BiLSTM which is 99.89\%. However, if it will be applied to mobile architecture, MobileNetV2-BiLSTM is superior because it has a faster computational time with a performance that is not significantly different when compared to ResNet50-BiLSTM."

"

Bahasa isyarat merupakan suatu tatanan gerakan yang mewakili suatu kosakata pada bahasa tertentu dan memiliki fungsi untuk membantu penyandang tunarungu dalam mengatasi masalah berkomunikasi. Namun tidak semua masyarakat umum menguasai bahasa isyarat. Dari permasalahan tersebut, sistem penerjemah bahasa isyarat diperlukan dalam membantu proses komunikasi penyandang tunarungu. Sistem penerjemah memerlukan sebuah video gerakan bahasa isyarat untuk kemudian dapat dikenali Dalam sebuah video utuh yang berisi satu sequence gerakan kalimat isyarat terdapat dua jenis gerakan yaitu gerakan isyarat (gesture) yang mengandung arti dan gerakan transisi (non gesture). Pada penelitian ini diusulkan metode untuk menngenali gesture dan non gesture pada kalimat SIBI (Sistem Isyarat Bahasa Indonesia) menggunakan Threshold Conditional Random Field (TCRF). Data yang digunakan adalah 2.255 video rekaman gerakan untuk 28 isyarat kalimat pada SIBI yang di peragakan oleh  tiga orang guru dan dua orang murid dari SLB Santi Rama Jakarta. Untuk merepresentasikan data, pada penelitian ini dibandingkan teknik ekstraksi fitur skeleton, image, gabungan (gabungan antara fitur skeleton dan fitur image) dan MobileNetV2. Untuk klasifikasi digunakan metode TCRF dengan variasi nilai threshold dari 1 sampai 4. Berdasarkan hasil eksperimen, masing-masing teknik ekstraksi fitur menghasilkan akurasi terbaik sebesar 72.5% untuk skeleton dengan threshold 2, 70.3% untuk image dengan threshold 2, 68.5% untuk gabungan dengan threshold 2 dan 93.2% untuk MobileNetV2 dengan threshold 1.5. Berdasarkan akurasi tersebut teknik ekstraksi fitur dengan model MobileNetV2 dapat merepresentasikan data lebih baik dibandingkan dengan ekstraksi skeleton, image, dan gabungan

---

Sign language is a series of movements that represent the vocabulary of a particular language and is designed to help the hearing-impaired communicate. However, not everyone is familiar with the sign language gestures, so a sign language translation system would aid communication by allowing more people to understand sign language gestures. A video that contains a sequence of sign sentences with two types of movements, namely sign movements (word-gestures) which have represent language constructs, and transitional movements (transitional-gesture). A method to identify both word-gestures and transitional-gestures in a variant of the Indonesian Sign Language System called Sistem Isyarat Bahasa Indonesia (hereafter referred to as SIBI) sentences based on the Threshold Conditional Random Field (TCRF) was implemented. The dataset on which the model is trained, consists of 2,255 videos containing recorded movements for 28 commonly used sentences in SIBI, performed by three teachers and two students of the Santi Rama School (Sekolah Luar Biasa), a school for hearing-impaired students. Several feature extraction techniques were tested, including skeleton, image, skeleton-image combination and MobileNetV2. The classification method uses TCRF with variations in TCRF threshold values between 1 to 4 to recognize word-gestures and transitional-gestures, then deleting frames with transitional-gestures label, and obtaining accuracy from LSTM that recognizes words from the per-frame word-gesture label. The best accuracies achieved by each method were 72.5% for skeleton technique with a TCRF threshold of 2; 70.3% for image technique with a TCRF threshold of 2; 68.5 % for skeleton-image combination, with a TCRF threshold of 2; and 93.2% for MobileNetV2 with threshold 1.5. Using MobileNetV2 as a feature extractor yields significantly better results than previous feature extraction methods.

"

"Skripsi ini membahas mengenai penggunaan model segmentasi semantik UNet sebagai alternatif metode segmentasi wajah dan tangan gerakan isyarat SIBI (Sistem Isyarat Bahasa Indonesia) pada latar belakang kompleks. Penelitian dilakukan terhadap dataset gerakan isyarat SIBI milik Lab MLCV Fakultas Ilmu Komputer Universitas Indonesia. Dalam penelitian ini, dilakukan percobaan dengan tiga jenis konfigurasi UNet, yaitu UNet 4- level tanpa Batch Normalization, UNet 5-level tanpa Batch Normalization, dan UNet 4- level dengan Batch Normalization. Hasil segmentasi dari UNet konfigurasi terbaik kemudian dilakukan tahap pengenalan selanjutnya, yaitu ekstraksi fitur dengan MobileNetV2, penghapusan gerakan transisi dengan TCRF, dan gesture recognition dengan 2-layer biLSTM untuk mendapatkan hasil translasi serta evaluasi akhir. Selain itu, performa sistem dengan menggunakan metode segmentasi UNet dibandingkan dengan performa sistem dengan menggunakan metode segmentasi RetinaNet+Skin Color Segmentation. Hasil dari penelitian didapatkan bahwa konfigurasi UNet 4-level dengan Batch Normalization menghasilkan segmentasi yang sedikit lebih baik dibandingkan konfigurasi lainnya, yaitu dengan nilai IOU 0,9178% pada dataset berlatar belakang kompleks. Performa UNet terlihat baik pada saat kedua tangan berada di depan badan, dan menurun ketika tangan berada di posisi yang berdekatan dengan area kulit lainnya (lengan, leher, wajah). Didapatkan juga bahwa sistem pengenalan isyarat SIBI ke teks bahasa Indonesia dengan menggunakan metode segmentasi UNet berhasil memiliki performa yang lebih baik dibandingkan menggunakan metode segmentasi RetinaNet+Skin Color Segmentation, dengan nilai WER 2,703% dan SAcc 82,424% pada latar belakang kompleks. Didapatkan juga waktu komputasi UNet yang lebih cepat dibandingkan RetinaNet dengan waktu segmentasi 0,19643 detik per frame pada CPU NVIDIA DGX A100

---

This thesis discusses the use of the UNet semantic segmentation model as an alternative to hand and face segmentation methods for SIBI (Indonesian Signing System) on complex backgrounds. This research was conducted on SIBI gesture dataset by MLCV Lab (Faculty of Computer Science, Universitas Indonesia). In this study, experiments were conducted with three types of UNet configurations, namely 4-level UNet without Batch Normalization, 5-level UNet without Batch Normalization, and 4-level UNet with Batch Normalization. Segmentation results from the best UNet configuration is then carried out in the next stage of the system, namely feature extraction with MobileNetV2, epenthesis removal with TCRF, and gesture recognition with 2-layer biLSTM to obtain translation results and the final evaluations. In addition, system performance using the UNet segmentation method is compared to system performance using the RetinaNet+Skin Color Segmentation method. The results of the study showed that the 4-level UNet configuration with Batch Normalization produces slightly better segmentation than the other configurations, with an IOU of 0.9178% on a dataset with a complex background. Based on the sample results, UNet performance is good when both hands are on the front of the body, and it decreases when the hands are in close proximity to other skin areas (arms, neck, face). It was also found that the SIBI gesture recognition system to Indonesian text using the UNet segmentation method managed to have better performance than using the RetinaNet+Skin Color Segmentation, with a WER value of 2.703% and a SAcc of 82.424% on a complex background. It was also found that UNet processing time was faster than RetinaNet with a segmentation rate of 0.19643 seconds per frame on the NVIDIA DGX A100 CPU."

"Penelitian mengenai negasi dalam bahasa isyarat belum banyak dilakukan di Indonesia. Memperhatikan situasi tersebut, penelitian ini bertujuan untuk mendeskripsikan negasi dalam bahasa isyarat Indonesia (Bisindo) yang berfokus pada analisis terhadap bentuk penanda manual dan nonmanual serta pola susunan kata dari satu jenis kalimat, yaitu kalimat pernyataan. Penelitian ini menggunakan data berupa rekaman video berbahasa isyarat informan tuli yang berisi 60 kalimat pernyataan negasi dalam Bisindo. Data yang sudah dikumpulkan, selanjutnya ditranskripsi terlebih dahulu untuk mengetahui bentuk penanda manual, penanda nonmanual, serta pola susunan kata dalam kalimat pernyataan negasi Bisindo. Hasil penelitian memperlihatkan bahwa (1) kalimat pernyataan negasi pada Bisindo dominan menggunakan penanda manual untuk menyatakan negasi; (2) penanda manual yang digunakan untuk menegasikan kalimat adalah TIDAK/BUKAN, BELUM, TIDAK-ADA, TIDAK-MENGERTI, TIDAK-PERNAH/BELUM-PERNAH, TIDAK-SUKA, dan TIDAK-MAU yang cenderung muncul di akhir kalimat; (3) jenis gerakan penanda nonmanual yang digunakan dalam kalimat pernyataan negasi adalah alis naik, alis turun, dan kepala menggeleng, (4) gerakan nonmanual yang paling banyak muncul adalah alis naik, sedangkan penanda manual negasi yang paling banyak digunakan adalah TIDAK/BUKAN; (5) untuk pola susunan kata, ditemukan sebanyak 10 jenis/tipe dan pola SP-Neg muncul dengan jumlah yang paling signifikan.

---

Research on negation in sign language has not been extensively conducted in Indonesia. Recognizing this gap, this study aims to describe negation in Indonesian Sign Language (Bisindo) which focuses on analyzing the forms of manual and nonmanual markers, as well as word order patterns in one type of sentence: statement sentences. This study utilizes data in the form of video recordings of deaf informants using sign language, comprising 60 negation statement sentences in Bisindo. The collected data is transcribed to identify the forms of manual markers, nonmanual markers, and word order patterns in Bisindo negation statement sentences. The findings show that (1) negation statement sentences in Bisindo predominantly employ manual markers to express negation; (2) manual markers such as NOT/NOT, NOT-YET, NOTHING, NOT-UNDERSTAND, NEVER, NOT-LIKE, and NOT-WANT are used to negate sentences, often appearing at the end of the sentence; (3) the types of nonmanual marker gestures used in negation statement sentences include raising eyebrows, lowering eyebrows, and shaking the head; (4) the most prevalent nonmanual gesture is raising eyebrows, while the most frequently used negation manual marker is NOT/NOT; (5) concerning word order patterns, 9 types are identified, with the SP-Neg pattern being the most significant."

"Perbedaan media komunikasi yang digunakan antara komunitas tuli dengan masyarakat normal menjadi pembatas dalam menjalin komunikasi antar keduanya. Untuk mengatasi hal ini, diperlukan suatu alat penerjemah yang dapat menerjemahkan bahasa isyarat Indonesia (Bisindo) yang biasa digunakan oleh komunitas tuli di Indonesia ke bahasa lisan dan sebaliknya. Penelitian ini akan berkontribusi pada pembentukan alat penerjemah tersebut dengan menerjemahkan kalimat dalam format Bisindo menjadi kalimat bahasa Indonesia secara satu arah. Penerjemahan dilakukan dengan dua metode berbeda, yaitu penerjemahan berbasis statistik menggunakan model neural machine translation (NMT) dan penerjemahan berbasis aturan. Khusus untuk penerjemahan berbasis aturan, penelitian ini hanya akan berfokus pada sebuah tahapan saja yaitu penambahan preposisi. Selain itu, penelitian ini juga memaparkan metode pembentukan dataset yang menyerupai karakteristik Bisindo dari dataset Indonesia menggunakan aturan-aturan sederhana untuk mengatasi minimnya ketersediaan dataset tersebut. Model NMT terbaik pada eksperimen ini memperoleh peningkatan nilai SacreBLEU sekitar 56%, serta penurunan nilai WER sekitar 7% dari nilai awal yang diperoleh pada dataset testing secara langsung. Di sisi lain, penerjemahan berbasis aturan memperoleh peningkatan nilai SacreBLEU sekitar 1.1% serta penurunan nilai WER sekitar 9.7% dari nilai awal. Sebagai tambahan, model tersebut memperoleh nilai precision sebesar 0.436 dan nilai recall sebesar 0.340 pada performanya dalam menambahkan preposisi secara spesifik.

---

The difference of communication methods used by the deaf community and the society becomes a boundary that limits the communication between the two. In order to tackle this issue, we need a tool that can translate sign language (especially bahasa isyarat Indonesia or Bisindo which is commonly used by the deaf community in Indonesia) to oral language and vice versa. This experiment will contribute to such tool by building a tool to translate sentences in Bisindo format to Bahasa Indonesia in one direction. Translation is done using two different methods: statistic-based translation using neural machine translation (NMT) models and rule-based translation. Specific to the rule-based approach, we will only focus on one step of the translation process which is adding prepositions. Aside of that, we also propose a method in building Bisindo-like dataset from Bahasa Indonesia dataset in order to handle the low availability of it. The best NMT model in this experiment achieved an improvement around 56% in SacreBLEU and a decrease around 7% in WER compared to the initial metrics value that we got directly from the testing dataset. On the other side, rule-based translation achieved an improvement around 1.1% in SacreBLEU and a decrease around 9.7% in WER compared to the initial metrics value. In addition, the model achieved 0.436 precision score and 0.340 recall score specific to its performance in adding preposition."

"Kemampuan berkomunikasi menggunakan bahasa isyarat sangat penting bagi kaum tunarungu dan tunawicara. Rendahnya persentase rakyat Indonesia yang menguasai bahasa isyarat menjadi latar belakang pengembangan aplikasi penerjemah Sistem Isyarat Bahasa Indonesia (SIBI) menjadi teks. Sistem penerjemah bahasa isyarat menjadi teks dikembangkan menggunakan MediaPipe Hands dengan konfigurasi default dan Convolutional Neural Network (CNN) sebagai classifier hasil recognition MediaPipe. Sistem tersebut diimplementasikan menjadi aplikasi berbasis Android untuk menerjemahkan bahasa isyarat SIBI menjadi teks secara real-time. Dari hasil pengujian sistem penerjemah yang dikembangkan menggunakan 3.803 data landmark tangan dengan rasio training, validation, dan testing sebesar 70:15:15, diperoleh tingkat akurasi model training sebesar 98.57% dengan tingkat akurasi model testing sebesar 92.59%. Aplikasi penerjemah SIBI menjadi teks dapat dijalankan secara real-time dengan jumlah frame kamera yang dapat diproses sekitar 20 frame per detik. Pada pengujian aplikasi dalam menerjemahkan SIBI menjadi teks, diperoleh akurasi sebesar 96.92%. Perbedaan gestur tangan yang ditangkap oleh kamera ketika berbahasa isyarat menjadi kekurangan pada aplikasi yang menyebabkan teks yang diterjemahkan kadang tidak sesuai. Saran untuk pengembangan lebih lanjut yaitu meningkatkan performa model SIBI dan menambah jumlah bahasa isyarat yang dapat diterjemah.

---

The ability to communicate with sign language becomes very important for disabilities who cannot hear or speak. The low percentage of Indonesian societies who are not able to understand Indonesian sign language becomes the background of the SIBI recognizer application development. SIBI recognizer system is developed using MediaPipe Hands with default configuration and Convolutional Neural Network (CNN) as the classifier of MediaPipe recognition result. The system is implemented to an Android based application project for real-time SIBI sign language to text recognition. The SIBI recognizer system model developed with 3.803 data of hand landmarks with training, validation, and testing ratio of 70:15:15 achieves the training accuracy of 98.57% and testing accuracy of 92.59%. The SIBI recognizer application can perform in real-time with average number of 20 frames per second. The application testing results in accuracy of 96.92%. The hand gesture difference caught by the camera when performing sign language becomes the drawback of the application, hence the translated text sometimes mismatched. Suggestions for the future development include improving SIBI model performance and increasing the number of sign languages to be translated."

"Tulisan ini bertujuan mendeskripsikan pembentukan kalimat nondeklaratif, yaitu kalimat yang tidak mengungkapkan pernyataan atau proposisi, dalam Bahasa Isyarat Indonesia atau yang lebih dikenal dengan sebutan Bisindo. Kalimat nondeklaratif yang dibahas dalam tulisan ini adalah kalimat interogatif, kalimat imperatif, dan kalimat eksklamatif. Dua aspek kalimat nondeklaratif yang diperiksa adalah strukturnya dan unsur nonmanual yang menandainya. Berdasarkan analisis terhadap kalimat-kalimat nondeklaratif yang dihasilkan oleh dua penutur Bisindo ditemukan bahwa (1) kalimat nondeklaratif Bisindo cenderung diawali dengan topik yang dapat berupa subjek, pronomina, nomina atau pewatas frasa yang bermakna 'pemilik'; (2) dalam kalimat interogatif, kata tanya, apabila digunakan, cenderung muncul pada kata di akhir kalimat; (3) unsur nonmanual yang terdapat dalam kalimat nondeklaratif adalah alis (mengerut, menaik), mata (membesar, menyipit, tertutup), dan gerakan kepala (mengangguk); dan (4) unsur-unsur nonmanual tersebut dapat muncul pada keseluruhan kalimat, sebagain kalimat, dan pada kata tertentu.  

---

The Indonesian Sign Language, better known as Bisindo, is a sign language used by many deaf communities in Indonesia. Misconceptions about this language and its speakers are abound because little is known about it. This paper aims at describing the formation of non-declarative sentences-those that do not express statement or proposition in Indonesian Sign Language. Non-declarative sentences discussed in this research are interrogative, imperative, and exclamative sentences. Two aspects to be examined are the structure and non-manual elements. The data for this paper are collected through elicitation from two Bisindo speakers. From the analysis of the data, it is found that (1) nondeclarative sentences in Bisindo tends to be initially marked by topic-part of sentence which shows what the sentence is about; (2) in interogative sentences, the wh-question word tends to occur at the end of the sentence; (3) non-manual elements that occur in non-declarative sentences are eye brows (lowered, arisen), eyes (widened, narrowed, closed), and head movement (nodded); and (4) the nonmanual elements can occur in in a certain part of the sentence or in the whole sentence depending on the types of non-declarative sentence. "