Hasil Pencarian  ::  Simpan CSV :: Kembali

"Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan oleh Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia untuk ujian bahasa Indonesia. Skripsi ini akan membahas mengenai pengembangan SIMPLE-O untuk penilaian ujian bahasa Indonesia menggunakan metode Gated Recurrent Unit (GRU) dan bahasa pemrograman Python. Terdapat dua dokumen yang akan menjadi input, yaitu jawaban esai dari peserta ujian dan jawaban referensi dari penguji. Kedua jawaban diproses dengan layer GRU yang sama. Selanjutnya, kemiripan antara keduanya dihitung dengan fungsi persamaan. Rata-rata nilai akurasi yang didapatkan adalah 98.84 untuk fase training dan 86.82 untuk validasi

---

The Automatic Essay Assessment System (SIMPLE-O) was developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia for the Indonesian language test. This thesis will discuss the development of SIMPLE-O for the assessment of Indonesian language tests using the Gated Recurrent Unit (GRU) method and the Python programming language. There are two documents that will be input, essay answers from examinees and answer answers from examiners. Both answers are processed with the same GRU layer. Next, the similarity between the two is calculated by the similarity function. The average accuracy value obtained was 98.84 for the training phase and 86.82 for validation"

"Skripsi ini membahas mengenai Pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) dengan menggunakan Stacked Bidirectional GRU dengan Manhattan Distance dan Cosine Similarity yang diterapkan untuk menilai jawaban esai bahasa Indonesia. Data yang digunakan pada sistem terdiri dari jawaban esai pelajar dan kunci jawaban dari pengajar. Sistem akan melalui tahapan pre-processing, word embedding, kemudian proses training, dan terakhir proses testing. Data sebelumnya diolah untuk dilakukan training terlebih dahulu dengan memberikan tujuh skenario pengujian agar memberikan selisih dan error yang rendah. Kedua jawaban akan diuji menggunakan dengan variasi hyperparameter sesuai dengan hasil terbaik dari seluruh skenario pengujian, kemudian diukur kemiripan hasil keduanya menggunakan dua jenis metrics yaitu, Manhattan Distance dan Cosine Similarity. Model menggunakan Cosine Similarity menghasilkan rata-rata nilai selisih 1.935 untuk fase training dan 8 untuk fase testing. Sedangkan Manhattan Distance menghasilkan selisih 1.887 untuk fase training dan 9.039 untuk fase testing.

---

This thesis discusses the design of an Automatic Essay Scoring System (SIMPLE-O) using Stacked Bidirectional GRU with Manhattan Distance and Cosine Similarity for Indonesian essay grading. The system utilizes a dataset consisting of student essay answers and corresponding teacher's answer key. The system goes through several stages including pre-processing, word embedding, training, and testing processes. The data is pre-processed and then trained using seven different testing scenarios to achieve low difference and low-error results. The system is evaluated using various hyperparameter settings based on the best results obtained from all testing scenarios. The similarity between the generated scores and the reference scores is measured using two metrics: Manhattan Distance and Cosine Similarity. The Cosine Similarity-based model achieved an average difference of 1.935 during the training phase and 8 during the testing phase. On the other hand, the Manhattan Distance-based model achieved an difference of 1.887 during the training phase and 9.039 during the testing phase."

"Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan oleh Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia untuk ujian bahasa Indonesia. Skripsi ini akan membahas mengenai pengembangan SIMPLE-O untuk penilaian ujian bahasa Indonesia menggunakan metode Siamese Manhattan Long Short-Term Memory (LSTM) dan bahasa pemrograman Python. Terdapat dua dokumen yang akan menjadi input, yaitu jawaban esai dari peserta ujian dan jawaban referensi dari penguji. Kedua jawaban diproses dengan layer LSTM yang sama. Selanjutnya, kemiripan antara keduanya dihitung dengan fungsi persamaan. Pengujian dengan dataset jawaban dummy mendapatkan nilai MAE dan RMSE sebesar 0.0254 dan 0.0346. Kemudia, pengujian dengan dataset jawaban asli mendapatkan nilai MAE dan RMSE terbaik sebesar 0.1596 dan 0.2190. Rata-rata nilai akurasi yang didapatkan adalah 92.82 untuk fase training dan 84.03 untuk validasi.

---

The Automatic Essay Assessment System (SIMPLE-O) was developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia for the Indonesian language test. This thesis will discuss the development of SIMPLE-O for the assessment of Indonesian language tests using the Siamese Manhattan Long Short-Term Memory (LSTM) method and the Python programming language. There are two documents that will be input, essay answers from examinees and answer answers from examiners. Both answers are processed with the same LSTM layer. Next, the similarity between the two is calculated by the similarity function. Testing with dummy answer dataset produces MAE and RMSE values of 0.0254 and 0.0346. Then, testing with the real answer dataset produces MAE and RMSE values of 0.1596 and 0.2190. The average accuracy value obtained was 92.82 for the training phase and 84.03 for validation.

"

"Skripsi ini membahas mengenai pengembangan Sistem Penilaian Esai Otomatis (SIMPLE-O) untuk ujian esai berbahasa Indonesia. Sistem ini dirancang dengan menggunakan Stacked Bidirectional LSTM dan menggunakan dua jenis similarity measurement, yaitu Manhattan Distance dan Cosine Similarity, untuk mencari model dengan performa paling optimal dan selisih terbaik dari tiap jenis similarity measurement. Sistem ini menggunakan bahasa pemrograman Python, dan terdiri atas tahap preprocessing, word embedding, training menggunakan deep learning, testing, dan similarity measure untuk menghitung kemiripan antar kata pada input. Input yang digunakan pada sistem ini adalah jawaban dosen sebagai kunci jawaban dan jawaban mahasiswa. Fase training menggunakan data augmentasi dan fase testing menggunakan jawaban mahasiswa asli. Pengujian sistem ini dilakukan dengan menggunakan 7 jenis skenario. Dengan hasil selisih akhir dari model untuk fase training dan testing pada Manhattan Distance sebesar 1.871 dan 7.808, dan Cosine Similarity sebesar 2.31 dan 7.635.

---

This thesis discusses the development of an Automated Essay Scoring System (SIMPLE-O) for Indonesian-language essay exams. This system is designed using Stacked Bidirectional LSTM and uses two types of similarity measurement, which are Manhattan Distance and Cosine Similarity, to find the model with the most optimal performance and the best difference from each type of similarity measurement. The system uses Python programming language, and the system's stages consist of preprocessing, word embedding, training using deep learning, testing, and similarity measuring to calculate the similarity between words on the input. The inputs used in this system are lecturers' answers as answer keys and students' answers. The training phase uses augmented data, and the testing phase uses original student answers. To test this system uses 7 types of scenarios. The final difference results of the model for the training and testing phases are 1.871 and 7.808 on Manhattan Distance and 2.31 and 7.635 on Cosine Similarity."

"Skripsi ini membahas penerapan Long Short Term Memory RNN dan Manhattan Distance untuk membuat rancangan Sistem Penilaian Esai Otomatis (SIMPLE-O). SIMPLE-O adalah sistem yang sedang dikembangkan Departemen Teknik Elektro UI untuk menilai esai secara otomatis. Sistem ini menggunakan Recurrent Neural Network dengan arsitektur Long Short Term Memory untuk memberikan nilai pada esai Bahasa Jepang. Dari beberapa variasi yang diuji, model yang paling stabil adalah model yang memiliki layer LSTM, Manhattan Distance, dan Dropout dengan dropout rate sebesar 0.3, di-train selama 25 epoch dengan loss function crosscategorical entropy dan optimizer adam, dengan input model ditokenisasi per karakter dengan rata-rata akurasi sebesar 79.93%.

---

This thesis will explore the application of Long Short Term Memory RNN and Manhattan Distance in designing the Automatic Essay Grading System (SIMPLE-O). SIMPLE-O is a system currently being developed by Departemen Teknik Elektro UI for automatically scoring Japanese essay exams.  Out of the variations tested, the most stable model is the model with the layers LSTM, Manhattan distance, and Dropout with a dropout rate of 0.3, trained for 25 epochs with the loss function cross categorical entropy and adam optimizer, and the model's input being tokenized by character with the highest average accuracy of 79.93%."

"Skripsi ini membahas mengenai rancangan untuk pengembangan sistem penilaian esai otomatis (SIMPLE-O) menggunakan Convolutional Neural Network dan Manhattan Distance sebagai penilaian pada ujian esai Bahasa Jepang yang sedang dikembangkan oleh Departemen Teknik Elektro Universitas Indonesia. Sistem ini menggunakan Convolutional Neural Network (CNN) untuk memberikan nilai pada esai Bahasa Jepang. Dari beberapa variasi yang diuji, model yang paling stabil adalam model yang memiliki layer CNN, Manhattan Distance, dan dropout dengan dropout rate sebesar 0.1, di-train selama 32 epochs dengan loss function cross-categorical entropy dan optimizer RMSprop dengan input model ditokenisasi per karakter dengan rata-rata akurasi sebesar 59.48%.

---

This thesis discusses the design for the development of an automatic essay scoring system (SIMPLE-O) using the Convolutional Neural Network and Manhattan Distance as an assessment of the Japanese essay exam which is being developed by the Department of Electrical Engineering, University of Indonesia. This system uses Convolutional Neural Network (CNN) to score Japanese essays. Of the several variations tested, the most stable model is a model that has CNN, Manhattan Distance, and dropout layers with a dropout rate of 0.1, trained for 32 epochs with a loss function cross-categorical entropy and an RMSprop optimizer with model input tokenized per character on average. the average accuracy is 59.48%."

"ABSTRACTAlgoritma winnowing merupakan algoritma yang berbasiskan fingerprint untuk mendeteksi tingkat kemiripan teks. Penelitian ini akan membahas pengembangan sistem penilai otomatis SIMPLE-O yang dikembangkan Departemen Teknik Elektro berbasis algoritma winnowing dan diterapkan untuk bahasa Jepang. Pada input bahasa Jepang diterapkan proses romanisasi untu mengubah karakter ke bentuk romaji. Penelitian dilakukan untuk mencari parameter terbaik dengan nilai akurasi atau agreement with human rater tertinggi. Dari hasil percobaan diketahui jika parameter untuk tiap-tiap input disesuaikan, secara keseluruhan sistem dapat memiliki rata-rata akurasi nilai total seluruh data hingga 90.92 dengan akurasi nilai total perpeserta ujian dapat mencapai 99.91 dan akurasi perjawaban untuk tiap peserta ujian berkisar dari 60.19 hingga 100.

---

ABSTRACTWinnowing Algorithm is a fingerprint based algorithm for detecting similarity between texts. This research will talk about the development and application of automatic essay grading system SIMPLE O, developed by Department of Electrical Engineering with winnowing algorithm for Japanese language. On the Japanese language input, romanization is implemented to change the input to romaji. The purpose of this research is to find the best parameter with the highest accuracy or agreement with human rater. The result of the conducted experiment shows that with customized parameter for each input, the average of total score for all students is 90.92 with accuracy for each student is up to 99.91 and accuracy for each problem ranged from 60.19 to 100."

"SIMPLE-O atau Sistem Penilaian Esai Otomatis merupakan sebuah proyek yang dikembangkan oleh Departemen Teknik Elektro, Universitas Indonesia sejak tahun 2007. Penelitian ini membahas penerapan algoritma winnowing dan algoritma ASCII-Based Hashing pada pengembangan SIMPLE-O untuk ujian bahasa Jepang. Sistem dikembangkan dengan menggunakan bahasa pemrograman Python. Beberapa penelitian sebelumnya pernah menggunakan algoritma winnowing untuk mengembangkan SIMPLE-O. Namun yang membedakannya pada penelitian ini adanya penggantian algoritma hashing yang biasa digunakan, yaitu dari Rolling Hash menjadi algoritma ASCII-Based Hashing. Algoritma hashing tersebut termasuk kedalam algoritma LSH (Locality-sensitive hashing). Proses penilaian membutuhkan dua data input, yaitu jawaban mahasiswa (peserta ujian) dan kunci jawaban dosen. Kedua data input yang masih dalam bahasa Jepang akan diromanisasi menjadi teks romaji (huruf latin), setelah itu akan diproses oleh algoritma winnowing dan algoritma hashing untuk menghasilkan fingerprint. Maksud dari penelitian ini adalah untuk mencoba mendapatkan akurasi sistem yang paling tinggi. Dari hasil penelitian, didapatkan rata-rata akurasi nilai total sistem sebesar 87.10% jika parameter winnowing untuk setiap data input diseragamkan (n = 2 dan w = 2). Akurasi tersebut mengalami peningkatkan sebesar 0.24% dari hasil penelitian sebelumnya yang bernilai 86.86%. Namun jika parameter winnowing disesuaikan menggunakan nilai kombinasi yang paling terbaik, maka rata-rata akurasi nilai total sistem yang didapatkan adalah 92.74%. Akurasi tersebebut mengalami peningkatan sebesar 1.82% dari hasil penelitian sebelumnya yang bernilai 90.92%. Untuk akurasi total per mahasiswa dapat mencapai 99.95%, dan akurasi pernomor untuk tiap sampel mahasiswa berkisar dari 69.55% hingga 100%.

---

SIMPLE-O or Automated Essay Grading System is a project developed by the Department of Electrical Engineering, University of Indonesia since 2007. This research discusses the implementation of the winnowing algorithm and the ASCII-Based Hashing algorithm in the development of SIMPLE-O for the Japanese language exam. The system was developed using the Python programming language. Several previous research have used the winnowing algorithm to develop SIMPLE-O. But what distinguishes it in this research is the replacement of the hashing algorithm that is commonly used, namely from Rolling Hash to ASCII-Based Hashing algorithm. ASCII-Based Hashing is one of the LSH (Locality-sensitive hashing) algorithm. The grading process requires two input data, namely the examinee's answers and lecturers' answer keys. The two-input data that are still in Japanese will be romanized into romaji text (Latin letters), after that it will be processed by the winnowing algorithm and hashing algorithm to generate fingerprints. The purpose of this research is to try to get the highest system accuracy. From the research results. The average accuracy of the total system value is 87.10% if the winnowing parameters for each input data are equated (n = 2 and w = 2). The accuracy increased by 0.24% from the results of previous research which were worth 86.86%. However, if the winnowing parameter is adjusted using the best combination value, then the average accuracy of the total system value obtained is 92.74%. The accuracy has increased by 1.82% from the results of previous research which were worth 90.92%. The total accuracy of each student can reach 99.95%, and the accuracy of each number for each student sample ranges from 69.55% to 100%."

"ABSTRAKDepartemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan sistem penilaian esai otomatis (SIMPLE-O) untuk ujian bahasa Jepang. Skripsi kali ini akan membahas pengembangan SIMPLE-O dalammengoreksi ujian bahasa Jepang dengan menggunakan metode N-Gram dan Latent Semantic Analysis (LSA) dan bahasa pemrograman Python dengan tujuan untuk mencapai nilai akurasi yang maksimal. N-Gram digunakan untuk mengoreksi pola kalimat data yang diuji dengan referensi, serta LSA dan Frobenius Norm untuk pemrosesan teks dan pemeriksaan kesamaan teks. Dari pengujian yang telah dilakukan, SIMPLE-O dengan N-Gram dapat mencapai rata-rata akurasi sebesar88,09%.

---

ABSTRACTDepartment of Electrical Engineering, Faculty of Engineering, University of Indonesia has developed a system to grade Japanese examination essay automatically. This thesis will discuss about the development of SIMPLE-O in grading Japanese examination essays using N-Gram and Latent Semantic Analysis (LSA) using Python programming languageto reach the maximum accuracy level. N-Gram is used to score the answer based on the words and the pattern of the sentence of key answer. LSA and Frobenius Norm are used toprocess the text and to check the similarity of both text. From the test that has been done, SIMPLE-O using N-GramandLSAis able to obtain an average rate of accuracy of 88,09%."

"Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan Sistem Penilaian Esai Otomatis Simple-O berbasis Latent Semantic Analysis LSA sejak tahun 2007. Pada awalnya, Simple-O hanya dikembangkan untuk mengoreksi ujian esai berbahasa Indonesia, namun kali ini dikembangkan untuk mengoreksi ujian esai berbahasa Jepang. Simple-O hanya menggunakan algoritma LSA saat pertama kali dikembangkan. Beberapa tahun setelahnya, Simple-O mulai dikembangkan menggunakan algoritma LSA dilengkapi dengan algoritma klasifikasi seperti Learning Vector Quantization LVQ dan Support Vector Machine SVM. Simple-O juga mulai dikembangkan menggunakan algoritma lain seperti Winnowing.Pada skripsi ini akan dijelaskan tentang pengembangan sistem penilaian esai otomatis Simple-O untuk ujian esai berbahasa Jepang menggunakan algoritma LSA untuk pemrosesan kata, serta menggunakan algoritma Support Vector Machine SVM untuk klasifikasinya. Algoritma SVM merupakan suatu algoritma pembelajaran yang berfungsi untuk menentukan bidang pemisah hyperplane dari sekumpulan data baik yang linearly separable, maupun yang non-linearly separable. SVM akan memisahkan data nilai hasil proses LSA ke dalam dua kelas untuk variasi kelas pertama, dan akan memisahkan data nilai hasil proses LSA ke dalam sembilan kelas untuk variasi kelas kedua. Jenis kernel dan parameter juga divariasikan untuk menemukan jenis kernel, parameter, dan jumlah kelas yang tepat. Hasil dari analisis dan pengujian yang telah dilakukan, apabila menggunakan jenis kernel, parameter, dan variasi kelas yang tepat, SVM mampu menghasilkan akurasi sebesar 100.

---

Department of Electrical Engineering in Universitas Indonesia has developed an automatic essay grading system Simple O based on Latent Semantic Analysis LSA since 2007. At first, Simple O was developed for giving score to essay with Indonesian language, but now Simple O is developed for giving score to essay with Japanese language. Simple O used to be developed using LSA algorithm only. A few years later, Simple O began to be developed using LSA algorithm and some classification algorithm such as Learning Vector Quantization LVQ and Support Vector Machine SVM. Simple O began to be developed using another algorithm too such as Winnowing algorithm.

This thesis will explain about development of automatic essay grading system Simple O for essay with Japanese language using LSA as word processing algorithm, and SVM as classification algorithm. SVM is a learning algorithm for determining hyperplane from set of linearly separable data as well as non linearly separable data. SVM will separate output data of LSA into two class for the first class variation and will separate output data of LSA into nine class for the second class variation. Kernel type and parameter will be varied too to find the right kernel, parameter, and number of classes. From the results of analysis and test that have been done, SVM is able to obtain accuracy of 100 if the system uses the right kernel, parameter, and number of classes."