Hasil Pencarian  ::  Simpan CSV :: Kembali

"Skripsi ini membahas mengenai penerapan model Siamese Manhattan Convolutional Neural Network dan Long Short-Term Memory (CNN-LSTM) untuk Sistem Penilaian Esai Otomatis (SIMPLE-O). Model deep learning sistem dikembangkan untuk dapat memprediksi nilai ujian esai Bahasa Jepang. Dari pengujian beberapa skenario dengan variasi hyperparameter, model SIMPLE-O dengan kernel sizes 5, jumlah filter 64, pool size sebesar 4, LSTM hidden units 25, batch size 50, training diulang sebanyak 50 epoch, dan optimizer SGD dengan learning rate 0,01 menghasilkan akurasi prediksi tertinggi, yaitu 70.07%. Selain itu, ditemukan pula pemanfaatan set hyperparameter hasil pencarian menggunakan hyperparameter tuning model dengan algoritma TPE dan implementasi library Hyperopt efektif menghasilkan peningkatan akurasi training- validasi sebesar 30.98% dan 18.43% dibandingkan dengan model dasar.

---

This thesis discusses the application of the Siamese Manhattan Convolutional Neural Network and Long Short-Term Memory (CNN-LSTM) model for the Automatic Essay Grading System (SIMPLE-O). The deep learning model was developed to predict Japanese essay test scores. From testing several scenarios with hyperparameter variations, the SIMPLE-O model with kernel sizes of 5, number of filters 64, pool size of 4, LSTM hidden units of 25, batch size of 50, repeated training of 50 epochs, and the SGD optimizer with a learning rate of 0.01 produces the highest prediction accuracy, which is 70.07%. In addition, it was also found that the utilization of the hyperparameter set founded with hyperparameter tuning model which used TPE algorithm and the implemented with Hyperopt library effectively resulted in an increase in training-validation accuracy of 30.98% and 18.43% compared to the accuracy of base model."

"Skripsi ini membahas mengenai pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) yang dirancang dengan menggunakan hybrid CNN dan Bi-LSTM dan Manhattan Distance untuk penilaian esai Bahasa Jepang. Sistem dirancang dengan menggunakan bahasa pemrograman Python. Sistem melalui tahapan pre-processing, feature extraction dan word embedding yang dilanjutkan dengan proses deep learning serta pengukuran dengan menggunakan manhattan distance. Hasil akhir dari sistem dibandingkan dengan penilaian manual oleh dosen. Model yang paling stabil dan terbaik ditraining dengan menggunakan hyperparameter dengan kernel sizes bernilai 5, jumlah filter atau output CNN sebesar 64, pool size sebesar 4, Bidirectional LSTM units 50, batch size sebesar 64. Model deep learning ditraining dengan menggunakan optimizer Adam dengan learning rate 0,001 , epoch sebanyak 25 dan menggunakan regularizer L1 sebesar 0,01. Rata-rata error yang diperoleh adalah 29%

---

This thesis discusses the development of an Automatic Essay Grading System (SIMPLE-O) designed using hybrid CNN and Bidirectional LSTM and Manhattan Distance for Japanese essay grading. The system is designed using Python programming language. The system goes through the stages of pre-processing, feature extraction and word embedding followed by deep learning process and measurement using Manhattan Distance. The final result of the system is compared with manual assessment by lecturers. The most stable and best model is trained using hyperparameters with kernel sizes of 5, number of filters or CNN outputs of 64, pool size of 4, Bidirectional LSTM units of 50, batch size of 64. The deep learning model is trained using the Adam optimizer with a learning rate of 0.001, epoch of 25 and using an L1 regularizer of 0.01. The average error obtained is 29%.

"

"Skripsi ini membahas mengenai pengembangan sistem ujian lisan Bahasa Jepang yang dirancang dengan mengintegrasikan automatic speech recognition dengan sistem penilaian esai otomatis. Sistem yang dikembangkan menggunakan arsitektur client-server. Client merupakan aplikasi yang dikembangkan menggunakan cross-platform framework Flutter dan dapat dijalankan pada platform web maupun Android. Back-end server pada cloud dibangun menggunakan bahasa pemrograman Python dengan database PostgreSQL serta memanfaatkan teknologi kontainerisasi dengan Docker. Sistem speech recognition yang digunakan adalah DeepSpeech dengan model di-training untuk dapat mengubah pengucapan dalam bahasa Jepang menjadi teks dengan huruf hiragana. Model yang dihasilkan memiliki rata-rata WER sebesar 20,6%. Sistem plenilaian esai otomatis yang digunakan adalah SIMPLE-O dengan metode LSA. Uji coba dilaksanakan secara online pada 36 responden dengan tingkat kefamiliaran terhadap bahasa Jepang yang bervariasi. Hasil uji coba mendapatkan nilai rata-rata sebesar 49,62 dari nilai maksimum sebesar 100. Akurasi sistem penilaian ujian lisan bahasa Jepang ini didefinisikan sebagai nilai rata-rata hasil uji coba, dibagi dengan akurasi speech recognition, yaitu sebesar 62,5%.

---

This thesis discusses about the development of a Japanese language verbal exam system designed by integrating automatic speech recognition with an automatic essay scoring system. The system developed uses a client-server architecture. The client is an application developed using the cross-platform framework Flutter and can be run on the web or Android platforms. Back-end servers in the cloud are built using the Python programming language with the PostgreSQL database and utilize containerization technology with Docker. The speech recognition system used is DeepSpeech with a training model to be able to convert Japanese pronunciation into text using hiragana letters. The resulting model has an average WER of 20.6%. The automatic essay scoring system used is SIMPLE-O with the LSA method. The trial was carried out online with 36 respondents with different levels of familiarity with Japanese language. The test results obtained an average score of 49.62 out of a maximum score of 100. The accuracy of the Japanese verbal exam scoring system is defined as the average value of the test results, divided by the accuracy of speech recognition, which is equal to 62.5%."

"Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan oleh Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia untuk ujian bahasa Indonesia. Skripsi ini akan membahas mengenai pengembangan SIMPLE-O untuk penilaian ujian bahasa Indonesia menggunakan metode Siamese Manhattan Long Short-Term Memory (LSTM) dan bahasa pemrograman Python. Terdapat dua dokumen yang akan menjadi input, yaitu jawaban esai dari peserta ujian dan jawaban referensi dari penguji. Kedua jawaban diproses dengan layer LSTM yang sama. Selanjutnya, kemiripan antara keduanya dihitung dengan fungsi persamaan. Pengujian dengan dataset jawaban dummy mendapatkan nilai MAE dan RMSE sebesar 0.0254 dan 0.0346. Kemudia, pengujian dengan dataset jawaban asli mendapatkan nilai MAE dan RMSE terbaik sebesar 0.1596 dan 0.2190. Rata-rata nilai akurasi yang didapatkan adalah 92.82 untuk fase training dan 84.03 untuk validasi.

---

The Automatic Essay Assessment System (SIMPLE-O) was developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia for the Indonesian language test. This thesis will discuss the development of SIMPLE-O for the assessment of Indonesian language tests using the Siamese Manhattan Long Short-Term Memory (LSTM) method and the Python programming language. There are two documents that will be input, essay answers from examinees and answer answers from examiners. Both answers are processed with the same LSTM layer. Next, the similarity between the two is calculated by the similarity function. Testing with dummy answer dataset produces MAE and RMSE values of 0.0254 and 0.0346. Then, testing with the real answer dataset produces MAE and RMSE values of 0.1596 and 0.2190. The average accuracy value obtained was 92.82 for the training phase and 84.03 for validation.

"

"Sistem Penilaian Esai Otomatis (SIMPLE-O) merupakan teknologi deep learning yang dikembangkan oleh Departemen Teknik Elektro, Fakultas Teknik Universitas Indonesia. SIMPLE-O dikembangkan untuk menilai ujian esai Bahasa Indonesia menggunakan gabungan algoritma CNN dengan Bidirectional LSTM. Dokumen yang menjadi input untuk sistem berupa jawaban mahasiswa dan kunci jawaban dosen. Keduanya akan melalui proses pre-processing yang dilanjut menuju proses embedding dan masuk ke dalam model deep learning. Selanjutnya akan dilakukan perhitungan dengan metrik penilaian yaitu Manhattan Distance dan Cosine Similarity. Pengujian dilakukan dengan mencari hyperparameter terbaik dari enam skenario yang dijalankan. Hasil pengujian skenario akhir fase training dan testing pengukuran Manhattan Distance mendapatkan nilai rata-rata selisih sebesar 0,72 dan 15,19. Untuk pengujian akhir pengukuran Cosine Similarity didapatkan nilai sebesar 1,07 dan 15,43.

---

The Automated Essay Assessment System (SIMPLE-O) is a deep learning technology developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia. SIMPLE-O was developed to assess Indonesian essay exams using the CNN algorithm and the Bidirectional LSTM. Documents that become input for the system are student answers and lecturer answer keys. Both of them will go through a pre-processing process, leading to the embedding process and entering the deep learning model. Next, calculations will be done with assessment metrics: Manhattan Distance and Cosine Similarity. Testing is done by looking for the best hyperparameters from the six-run scenarios. The results of testing the scenario at the end of the training and testing phase of the Manhattan Distance measurement obtained an average difference of 0.72 and 15.19. For the final test of the Cosine Similarity measurement, values were obtained of 1.07 and 15.43."

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score."

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score. "

"Skripsi ini membahas penerapan Long Short Term Memory RNN dan Manhattan Distance untuk membuat rancangan Sistem Penilaian Esai Otomatis (SIMPLE-O). SIMPLE-O adalah sistem yang sedang dikembangkan Departemen Teknik Elektro UI untuk menilai esai secara otomatis. Sistem ini menggunakan Recurrent Neural Network dengan arsitektur Long Short Term Memory untuk memberikan nilai pada esai Bahasa Jepang. Dari beberapa variasi yang diuji, model yang paling stabil adalah model yang memiliki layer LSTM, Manhattan Distance, dan Dropout dengan dropout rate sebesar 0.3, di-train selama 25 epoch dengan loss function crosscategorical entropy dan optimizer adam, dengan input model ditokenisasi per karakter dengan rata-rata akurasi sebesar 79.93%.

---

This thesis will explore the application of Long Short Term Memory RNN and Manhattan Distance in designing the Automatic Essay Grading System (SIMPLE-O). SIMPLE-O is a system currently being developed by Departemen Teknik Elektro UI for automatically scoring Japanese essay exams.  Out of the variations tested, the most stable model is the model with the layers LSTM, Manhattan distance, and Dropout with a dropout rate of 0.3, trained for 25 epochs with the loss function cross categorical entropy and adam optimizer, and the model's input being tokenized by character with the highest average accuracy of 79.93%."

"Skripsi ini membahas tentang Sistem penilaian esai Otomatis (SIMPLE-O) untuk ujian Bahasa Jepang dengan Bidirectional LSTM dan Manhattan Distance. Dalam penggunaan Algoritma RNN menggunakan arsitektur Bidirectional LSTM. SIMPLE-O merupakan sistem yang sedang dikembangkan oleh Departemen Teknik Elektro UI yang digunakan untk menilai esai secara otomatis. Sistem berjalan menggunakan model Bidirectional LSTM, diukur dengan Manhattan Distance serta terdapat metric evaluasi yang terdiri dari Accuracy, Recall, Precision, F1-Measure. Dalam pengolahan sistem dilakukan secara otomatis menggunakan tensorflow. Pengujian yang dilakukan pada sistem yang dibangun terdapat 3 pengujian yaitu : pengujian terhadap epoch, optimizer dan word2vec. Untuk epoch dilakukan terhadap 3 epoch yaitu 20, 5 dan 10. Dari masing – masing epoch dijalankan sebanyak 5 kali. Hasil tertinggi yang didapatkan pada epoch ada pada epoch 20 yaitu 99.02%, untuk hasil pengujian optimizer menggunkan SGD atau stochastic gradient descent dan word2vec sebesar 500.

---

This thesis discusses the Automatic essay scoring system (SIMPLE-O) for Japanese language exams with Bidirectional LSTM and Manhattan Distance. In the use of the RNN Algorithm, the Bidirectional LSTM architecture is used. SIMPLE-O is a system being developed by the Department of Electrical Engineering UI which is used to automatically assess essays. The system runs using the Bi-LSTM model, measured by Manhattan Distance and there is an evaluation metric consisting of Accuracy, Recall, Precision, F1-Measure. In the system processing is done automatically using tensorflow. Tests carried out on the system built have 3 tests, namely: testing the epoch, optimizer and word2vec. For epoch, it is done for 3 epochs, namely 20, 5 and 10. From each epoch, it is run 5 times. The highest result obtained on epoch is at epoch 20, which is 99.02%, for the optimizer test results using SGD or stochastic gradient descent and word2vec of 500."

"Skripsi ini membahas mengenai rancangan untuk pengembangan sistem penilaian esai otomatis (SIMPLE-O) menggunakan Convolutional Neural Network dan Manhattan Distance sebagai penilaian pada ujian esai Bahasa Jepang yang sedang dikembangkan oleh Departemen Teknik Elektro Universitas Indonesia. Sistem ini menggunakan Convolutional Neural Network (CNN) untuk memberikan nilai pada esai Bahasa Jepang. Dari beberapa variasi yang diuji, model yang paling stabil adalam model yang memiliki layer CNN, Manhattan Distance, dan dropout dengan dropout rate sebesar 0.1, di-train selama 32 epochs dengan loss function cross-categorical entropy dan optimizer RMSprop dengan input model ditokenisasi per karakter dengan rata-rata akurasi sebesar 59.48%.

---

This thesis discusses the design for the development of an automatic essay scoring system (SIMPLE-O) using the Convolutional Neural Network and Manhattan Distance as an assessment of the Japanese essay exam which is being developed by the Department of Electrical Engineering, University of Indonesia. This system uses Convolutional Neural Network (CNN) to score Japanese essays. Of the several variations tested, the most stable model is a model that has CNN, Manhattan Distance, and dropout layers with a dropout rate of 0.1, trained for 32 epochs with a loss function cross-categorical entropy and an RMSprop optimizer with model input tokenized per character on average. the average accuracy is 59.48%."