Hasil Pencarian  ::  Simpan CSV :: Kembali

"Di Universitas Indonesia, tengah dikembangkan sebuah sistem penilaian esai secara otomatis berbasis web yang bernama SIMPLE-O. Sistem ini masih memilik beberapa kekurangan, yang salah satunya adalah ketidakmampuan sistem untuk mendeteksi kalimat negasi. Skripsi ini merancang dan kemudian menguji modul tambahan yang dapat mendeteksi kalimat negasi pada sistem SIMPLE-O. Modul tambahan tersebut mendeteksi kata negasi (“tidak” dan “bukan”) kemudian menggabungkannya dengan kata yang akan dinegasikan dengan kata hubung (-). Bila kata kunci atau kata bobot yang dinegasikan, maka nilai user tidak akan bertambah. Program-program yang diujikan adalah program SIMPLE-O yang asli, program yang dapat mendeteksi negasi dengan input yang dipecah per 10 kata (Program Deteksi Negasi 1), dan program yang dapat mendeteksi negasi dengan input yang dipecah per kalimat (Program Deteksi Negasi 2). Nilai hasil proses program-program tersebut dibandingkan dengan nilai dari human rater. Dari analisis yang dilakukan didapatkan kesimpulan bahwa program deteksi negasi dapat diimplementasikan ke dalam sistem SIMPLE-O. Selain itu, program negasi yang paling baik untuk diimplementasikan adalah Program Deteksi Negasi 2.

---

In Universitas Indonesia, a web based automatic essay grading system named SIMPLE-O is currently being developed. This system still has some deficiencies, one of them is system’s inability to detect negation sentences. This essay devises and then tests additional module that can detect negation sentences in SIMPLE-O system. This additional module detects negation words (“tidak” and “bukan”), then combines them with words that will be negated with dash (-). If it’s keywords or weighted words that are negated, user’s score will not increase. The programs that are tested are real SIMPLE-O program, program that can detect negation with input being separated by 10 words (Negation Detection Program 1), and program that can detect negation with input being separated by a sentence (Negation Detection Program 2). Those scores of programs’ process result is compared with human rater scores. From the analysis that has been done, it can be concluded that negation detection program can be implemented into SIMPLE-O’s system. Beside that, the best negation program that can be implemented into SIMPLE-O’s system is Negation Detection Program 2."

"Sistem penilaian esai otomatis berbasis Latent Semantic Analysis (LSA), yang menggunakan Bahasa Indonesia memang sedang dikembangkan dalam beberapa tahun kebelakang. Untuk itu, pada skripsi ini akan dipaparkan mengenai salah satu fitur tambahan pada sistem yang akan mendeteksi kalimat pasif pada jawaban mahasiswa. Metode yang akan digunakan pada fitur ini antara lain metode Regular Expression dan metode stemming Arifin-Setiono. Dimana metode Regular Expression akan digunakan untuk mencari kata-kata yang memiliki awalan di-, sedangkan metode stemming akan digunakan untuk mencari kata dasar untuk setiap kata yang memiliki awalan di- pada jawaban, untuk kemudian dibandingkan dengan kata kunci dan kata bobot yang ada pada database jawaban. Korelasi nilai antara SIMPLE-O lama dengan SIMPLE-O baru adalah yaitu sebesar 0.987 untuk soal nomor satu, 0.986 untuk soal nomor dua dan 0.988 untuk soal nomor tiga.

---

Automated essay scoring system based on Latent Semantic Analysis (LSA), which is use for the Indonesian language is being developed within a few years ago. Therefore, in this thesis will be presented one of the additional features on the system that will detect passive sentence from the student answers. The method that will be used in this feature are Regular Expression method and Arifin-Setiono’s stemming method. Where the Regular Expression method will be used to search some words that have the prefix di-, while in the other hand, stemming method will be used to find the basis for every word that has the prefix di- on the answer, and then compare it with the table of kata_kunci and kata_bobot which is exist in the database answer. The correlation value of the old SIMPLE-O with the new SIMPLE-O is 0.987 for the first question, 0.986 for the second question and 0.988 for the third question.

"

"Pada skripsi ini telah dilakukan pengujian variasi kata kunci dalam jawaban mahasiswa yang mempengaruhi keakuratan nilai dari penggunaan program SIMPLE-O. Dengan adanya jawaban mahasiswa dalam berbagai variasi maka dapat dilihat pengaruh kata kunci dalam proses penilaian sistem. Kata kunci merupakan kumpulan kata-kata yang dipilih dari jawaban dimana kata-kata tersebut yang mempunyai nilai. Selain itu, terdapat kata bobot yang merupakan kumpulan dari kata kunci yang mempunyai bobot nilai lebih tinggi. Semakin banyak kata kunci yang dimasukkan, maka semakin besar keakuratan nilai pada sistem. Terdapat enam skenario yang digunakan sebagai bahan analisis.Korelasi waktu penggunaan sistem saat program dimasukkan ke dalam cloud computing berbeda dengan penggunaan sistem saja. Waktu proses penilaian yang dihasilkan oleh sistem lebih cepat dibandingkan waktu proses penilaian saat sistem berada dimasukkan ke dalam cloud computing. Nilai korelasi yang baik adalah nilai korelasi yang mendekati satu. Waktu korelasi yang paling baik pada pengujian skenario pada sistem sebesar 0.97. Sedangkan nilai korelasi pada pengujian skenario pada sistem sebesar 0.22.

---

In this thesis will discuss some keyword variation affects the accuracy of the students in the program use SIMPLE-O. With the variety of answer?s student in large amounts it can be seen how keywords in the process of the assessment system. Keywords is a collection of selected words from the answers which those words that has a value. In addition, there is the word weight is a collection of keywords that have a higher weight value. Increasingly many keywords entered, the greater accuracy in the system. There are six scenarios used for analysis.

Correlation time when using system in cloud computing has different than using simply system. Time processing in system make a better value than using simply system in cloud computing. Correlation value has a good value when the correlation closed with one. Correlation time in scenario system is 0.97. Whereas correltion value in scenario system is 0.22."

"Departemen Teknik Elektro Universitas Indonesia telah mengembangkan suatu sistem berbasis Latent Semantic Analysis LSA untuk memberikan penilaian secara objektif terhadap esai berbahasa Indonesia. Data keluaran sistem penilaian esai otomatis, Simple-O, berbasis LSA adalah nilai slice, nilai pad, dan nilai esai tersebut. Skripsi ini akan membahas serta memberikan analisis terkait pengaruh penambahan persamaan kata pada sistem penilaian esai otomatis terhadap keakuratan penilaian. Terdapat nilai pad dan slice yang digunakan untuk melihat kemiripan antara teks jawaban mahasiswa dengan teks jawaban referensi. Selain itu, nilai pad dan slice juga akan digunakan sebagai input untuk algoritma Support Vector Machine SVM . Untuk melihat pengaruh penambahan persamaan kata pada database sistem penilaian esai otomatis, Simple-O, maka dilakukan enam skenario pengujian terhadap penggunaan persamaan kata untuk kata kunci. Dalam hal ini, kata kunci merupakan kumpulan kata-kata yang dipilih dari jawaban dimana kata-kata tersebut yang mempunyai nilai. Masing-masing skenario memiliki lima variasi jawaban dengan persentase penggunaan persamaan kata pada kata kunci yang berbeda-beda, mulai dari 100 , 80 , 60 , 40 , 20 , dan 0 . Terdapat tiga nilai yang dianalisis untuk melihat tingkat akurasi penilaian oleh sistem penilaian esai otomatis, Simple-O, yakni nilai esai, nilai pad, dan nilai slice. Hasil dari pengujian dan analisis yang telah dilaksanakan adalah: peningkatan rata-rata akurasi penilaian program Simple-O setelah mengalami penambahan persamaan kata sebesar 18 dari 72 menjadi 90 , rata-rata koefisien korelasi antara penilaian oleh human rater dan program Simple-O bernilai 0.85, serta penurunan rata-rata perolehan nilai pad senilai 1.51 dari 32.35 menjadi 30.84 dan nilai slice senilai 1.01 dari 31.85 menjadi 30.84, sehingga mengindikasikan adanya peningkatan akurasi penilaian oleh program Simple-O setelah mengalami penambahan persamaan kata pada database sistem penilaian esai otomatis, Simple-O.

---

Department of Electrical Engineering, University of Indonesia has developed a system based on Latent Semantic Analysis LSA to provide objective assessment of an essay in Bahasa Indonesia. The output data of automated essay grading system with LSA algorithm, Simple O, are pad value, slice value, and the essay rsquo s scores. This thesis will discuss and provide analysis of the influence of synonym importation in automated essay grading system over assessment accuracy. There are pad and slice values, which are used to observe the similarity between students rsquo answers in essay and the reference answers in essay as well. In addition, pad and slice values will also be used as input for Support Vector Machine SVM algorithm. To see the influence and difference of adding word equations into the database of automated essay grading system, Simple O, six testing scenarios are tested against the use of word equations for keywords. In this case, keyword is a collection of selected words from the answers which those words that has a value. Each of the scenario has five answer variations with different percentage of word equations usage on keywords, ranging from 100 , 80 , 60 , 40 , 20 , and 0 . There are three values to be analyzed to see the assessment accuracy level by automated essay grading system, Simple O, they are essay 39 s score, pad values, and slice values. The results of analysis and test that has been done is the average of assessment accuracy of Simple O program after adding word equations increases 18 , from 72 to 90 , the average of correlation coefficient between assessment by human rater and Simple O program is worth 0.85, also the average value of pad decreases 1.51, from 32.35 to 30.84, and the average value of slice decreases 1.01, from 31.85 to 30.84, thus it indicates an improvement of assessment accuracy level results by Simple O program after adding word equations to the database of automated essay grading system, Simple O."

"ABSTRAKPada skripsi ini akan dibahas mengenai pengaruh dari banyak kata dan rasio panjang jawaban yang dimasukkan oleh mahasiswa terhadap keakuratan penilaian yang diperoleh pada SIMPLE-O. Banyak kata dan rasio panjang jawaban yang dimasukkan adalah salah satu faktor tidak langsung yang mempengaruhi keakuratan penilaian. Banyak kata dan rasio panjang jawaban memberikan peluang terjadinya perulangan kata kunci atau kata bobot sehingga mempengaruhi proses penilaian pada sistem. Semakin banyak kata pada jawaban yang dimasukkan, semakin besar kemungkinan terjadinya perulangan kata kunci atau kata bobot sehingga nilai yang dihasilkanpun akan semakin besar. Sementara rasio panjang jawaban mahasiswa terhadap panjang jawaban referensi tidak memberi pengaruh yang besar terhadap keakuratan penilaian SIMPLE-O. Analisis pengaruh banyak jawaban terhadap keakuratan penilaian pada SIMPLE-O dilakukan dengan menggunakan variabel banyak kata yang berbeda-beda. Terdapat 6 variabel yang digunakan sebagai bahan analisis, yaitu variabel banyak kata jawaban 50 kata, 100 kata, 150 kata, 200 kata, dan 300 kata. Korelasi nilai antara SIMPLE-O dan human rater pada variabel 50 kata adalah 0.1351, untuk variabel 100 kata korelasinya adalah 0.3030, untuk variabel 150 kata korelasinya adalah 0.1861, untuk variabel 200 kata korelasinya adalah 0.1189, untuk variabel 250 kata nilai korelasinya berlawanan arah atau bernilai negatif yaitu -0.1555, dan untuk variabel 300 kata nilai korelasinya adalah sebesar -0.2764. Waktu proses pada variabel 50 kata lebih cepat dibandingkan variabel lainnya yaitu sebesar 0.3654606

---

ABSTRACTThis paper will discuss about the influence of words number and answer?s length ratio on essay test to the system accuracy in SIMPLE-O. Words number and answer?s length ratio is one of the undirectly factors that affecting the accuracy of the assessment in SIMPLE-O. Word?s number and answer?s length ratio gives the chance of recurrence keywords or weight that affecting the assessment process on the system. The more words is entered, the greater the chances of recurrence keywords or weights so that the resulting value will be even greater. While answer?s length ratio of students to the answer?s length of the reference does not give a great influence on the accuracy of the system valuation. The analyses were performed using variables of different answer?s words number. There are six variables used for analysis, namely 50 words variable, 100 words variable, 150 words variable, 200 words variable and 300 words variable. Correlation values between SIMPLE-O and human rater on 50 words variable is 0.1351, for the 100 words variable correlation is 0.3030, for the 150 words variable correlation is 0.1861, for the 200 words variable correlation is 0.1189, for the 250 words variable correlation is -0.1555, and for the 300 words scenario correlation is -0.2764. The processing time in the 50 words variable is quicker than other scenarios that is equal to 0.3654606"

"Sistem persamaan kata merupakan suatu algoritma yang dapat digunakan pada sistem penilaian esai secara otomatis yang dapat berfungsi dengan untuk membandingkan kata memiliki makna yang sama (sinonim) sehingga akan diberi bobot yang sama. Hal ini telah dibuktikan dari percobaan dimana SIMPLE-O berbasis GLSA yang ditambahkan sistem persamaan kata dalam kalimat mengungguli sistem yang sama tanpa adanya penambahan persamaan kata. Dari 6 soal yang diujicobakan dengan 5 sampel pada dua soal dummy dan 30 sampel pada sisa 4 soal percobaan dengan membandingkan nilai selish hasil penilaian sistem terhadap persamaan kata GLSA dengan persamaan kata unggul sebanyak 5 kali atau sebesar 83,33% dibandingkan dua basis algoritma lainnya yaitu LSA dan GLSA tanpa sistem persamaan kata.

---

Word similiarity detection system is an algorithm that can be used on automatic essay grader to compare word to another of which have similar meaning (synonim) so that can be given the equal value. With this algorithm the word with significant meaning on the text can be detected an the word which have the different terms but have the same meaning from the answer. Experiment conducted has shown that word similiarity algorithm which has embedded to SIMPLE-O based on GLSA outperform the GLSA without word similiarity in term of the accuracy.

From 6 questions data conducted, GLSA with word similiarity outperform the other algorithm which are LSA and GLSA without word similiarity process 5 times or equal to 83,33%. The result from the average delta of the value is also proven that the word similiarity algorithm is have better performance than the other. Word similiarity algorithm proven to increase the accuracy of essay grader for text in Bahasa Indonesia."

"Skripsi ini membahas mengenai pengembangan sistem ujian lisan Bahasa Jepang yang dirancang dengan mengintegrasikan automatic speech recognition dengan sistem penilaian esai otomatis. Sistem yang dikembangkan menggunakan arsitektur client-server. Client merupakan aplikasi yang dikembangkan menggunakan cross-platform framework Flutter dan dapat dijalankan pada platform web maupun Android. Back-end server pada cloud dibangun menggunakan bahasa pemrograman Python dengan database PostgreSQL serta memanfaatkan teknologi kontainerisasi dengan Docker. Sistem speech recognition yang digunakan adalah DeepSpeech dengan model di-training untuk dapat mengubah pengucapan dalam bahasa Jepang menjadi teks dengan huruf hiragana. Model yang dihasilkan memiliki rata-rata WER sebesar 20,6%. Sistem plenilaian esai otomatis yang digunakan adalah SIMPLE-O dengan metode LSA. Uji coba dilaksanakan secara online pada 36 responden dengan tingkat kefamiliaran terhadap bahasa Jepang yang bervariasi. Hasil uji coba mendapatkan nilai rata-rata sebesar 49,62 dari nilai maksimum sebesar 100. Akurasi sistem penilaian ujian lisan bahasa Jepang ini didefinisikan sebagai nilai rata-rata hasil uji coba, dibagi dengan akurasi speech recognition, yaitu sebesar 62,5%.

---

This thesis discusses about the development of a Japanese language verbal exam system designed by integrating automatic speech recognition with an automatic essay scoring system. The system developed uses a client-server architecture. The client is an application developed using the cross-platform framework Flutter and can be run on the web or Android platforms. Back-end servers in the cloud are built using the Python programming language with the PostgreSQL database and utilize containerization technology with Docker. The speech recognition system used is DeepSpeech with a training model to be able to convert Japanese pronunciation into text using hiragana letters. The resulting model has an average WER of 20.6%. The automatic essay scoring system used is SIMPLE-O with the LSA method. The trial was carried out online with 36 respondents with different levels of familiarity with Japanese language. The test results obtained an average score of 49.62 out of a maximum score of 100. The accuracy of the Japanese verbal exam scoring system is defined as the average value of the test results, divided by the accuracy of speech recognition, which is equal to 62.5%."

"Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia telah mengembangkan sistem penilaian esai otomatis (SIMPLE-O) untuk ujian bahasa Jepang. Skripsi kali ini akan membahas pengembangan SIMPLE-O dalam mengoreksi ujian bahasa Jepang dengan menggunakan metode N-Gram dan Latent Semantic Analysis (LSA) dan bahasa pemrograman Python dengan tujuan untuk mencapai nilai akurasi yang maksimal. N-Gram digunakan untuk mengoreksi pola kalimat data yang diuji dengan referensi, serta LSA dan Frobenius Norm untuk pemrosesan teks dan pemeriksaan kesamaan teks. Dari pengujian yang telah dilakukan, SIMPLE-O dengan N-Gram dapat mencapai rata-rata akurasi sebesar88,09%.

---

Department of Electrical Engineering, Faculty of Engineering, University of Indonesia has developed a system to grade Japanese examination essay automatically. This thesis will discuss about the development of SIMPLE-O in grading Japanese examination essays using N-Gram and Latent Semantic Analysis (LSA) using Python programming languageto reach the maximum accuracy level. N-Gram is used to score the answer based on the words and the pattern of the sentence of key answer. LSA and Frobenius Norm are used toprocess the text and to check the similarity of both text. From the test that has been done, SIMPLE-O using N-GramandLSAis able to obtain an average rate of accuracy of 88,09%."

"Departemen Teknik Elektro sebelumnya sudah mengembangkan sistem penilai esai otomatis (SIMPLE-O) yang berbasis algoritma winnowing dan diterapkan pada bahasa Jepang. Sistem penilai esai otomatis tersebut menggunakan algortima winnowing yang berbasiskan fingerprint dan hashing untuk mendeteksi tingkat kemiripan teks. Sistem tersebut memiliki rata-rata akurasi nilai total seluruh data hingga 90.92% dengan akurasi nilai total perpeserta ujian dapat mencapai 99.91% dan akurasi perjawaban untuk tiap peserta ujian berkisar dari 60.19% hingga 100%. Penelitian kali ini berusaha untuk mencoba untuk menaikkan akurasi tersebut. Cara yang digunakan ialah menganti hashing yang digunakan dari Rolling Hash ke MD5 dan mengimplementasi synonym recognition. Hasil percobaan ini memiliki rata-rata tingkat akurasi 85.61% dengan akurasi perjawaban untuk tiap perserta ujian berkisar 68.44% hingga 99.96%

---

Departement of Electrical Engineering has already developed automatic essay grading system (SIMPLE-O) which utilize winnowing algorithm which is a fingerprint-based and hash-based algorithm for detecting similarity between texts. The system have result of average of total score for all students is 90.92% with accuracy for each student is up to 99.91% and accuracy for each problem ranged from 60.19% to 100%. This research will try to raise the accuracy. The proposed method is by changing the hashing used by the system from Rolling Hash to MD5 and implementing synonym recognition. The result of conducted experiment has the average of accuracy of 85.61% and the accuracy for each problem ranged from 68.44% to 99.96%.

"

"Sistem Penilaian Esai Otomatis (SIMPLE-O) dikembangkan oleh Departemen Teknik Elektro Fakultas Teknik Universitas Indonesia untuk ujian bahasa Indonesia. Skripsi ini akan membahas mengenai pengembangan SIMPLE-O untuk penilaian ujian bahasa Indonesia menggunakan metode Siamese Manhattan Long Short-Term Memory (LSTM) dan bahasa pemrograman Python. Terdapat dua dokumen yang akan menjadi input, yaitu jawaban esai dari peserta ujian dan jawaban referensi dari penguji. Kedua jawaban diproses dengan layer LSTM yang sama. Selanjutnya, kemiripan antara keduanya dihitung dengan fungsi persamaan. Pengujian dengan dataset jawaban dummy mendapatkan nilai MAE dan RMSE sebesar 0.0254 dan 0.0346. Kemudia, pengujian dengan dataset jawaban asli mendapatkan nilai MAE dan RMSE terbaik sebesar 0.1596 dan 0.2190. Rata-rata nilai akurasi yang didapatkan adalah 92.82 untuk fase training dan 84.03 untuk validasi.

---

The Automatic Essay Assessment System (SIMPLE-O) was developed by the Department of Electrical Engineering, Faculty of Engineering, University of Indonesia for the Indonesian language test. This thesis will discuss the development of SIMPLE-O for the assessment of Indonesian language tests using the Siamese Manhattan Long Short-Term Memory (LSTM) method and the Python programming language. There are two documents that will be input, essay answers from examinees and answer answers from examiners. Both answers are processed with the same LSTM layer. Next, the similarity between the two is calculated by the similarity function. Testing with dummy answer dataset produces MAE and RMSE values of 0.0254 and 0.0346. Then, testing with the real answer dataset produces MAE and RMSE values of 0.1596 and 0.2190. The average accuracy value obtained was 92.82 for the training phase and 84.03 for validation.

"