Hasil Pencarian  ::  Simpan CSV :: Kembali

"Representasi dokumen sebagai vektor GLSA pada beberapa percobaan seperti uji sinonim, klasifikasi dokumen, dan clustering terbukti mampu menghasilkan tingkat akurasi yang lebih baik daripada sistem sejenis yang berbasis algoritma LSA akan tetapi GLSA belum pernah diujikan pada sistem penilai esay otomatis. Percobaan ini meneliti pengaruh implementasi GLSA pada sistem penilai esay otomatis dan perbandingan unjuk kerjanya dengan sistem penilai esay otomatis berbasis LSA. Unjuk kerja sistem penilai esai otomatis berbasis GLSA lebih unggul daripada sistem berbasis LSA. Dari 60 kali pengujian, GLSA menghasilkan nilai yang lebih akurat pada 47 kali pengujian atau 78,3% total pengujian sedangkan LSA hanya unggul pada 9 kali pengujian atau 15% total pengujian dan sisanya 4 kali pengujian atau 6,7% total pengujian menghasilkan nilai dengan tingkat akurasi yang sama. Nilai Pearson Product Moment Correlation pada percobaan menggunakan sistem LSA 0.57775-0.85868 sedangkan pada GLSA sebesar 0.73335-0.76971. Hal ini mengindikasikan bahwa sistem berbasis LSA dan GLSA yang diujikan layak pakai karena memiliki performa yang sama baiknya dengan performa yang dilakukan oleh manusia. Ditinjau dari waktu proses yang dibutuhkan, LSA unggul pada soal 1 dan 2 dengan rataan 0,07466 detik dan 0,2935 detik sedangkan pada GLSA rataan waktu proses soal 1 dan 2 sebesar 1,32329 detik dan 17,3641 detik. Waktu proses yang dibutuhkan sistem penilai esai otomatis berbasis GLSA lebih lama dibandingkan dengan LSA. Akan tetapi karena GLSA menunjukkan kinerja yang amat baik, amat dipercaya bahwa manfaatnya lebih besar daripada biaya komputasi.

---

Document representation as GLSA vectors were shown to improve performance on different tasks such as synonymy test, document classification, and clustering compared to LSA based systems, however GLSA performance has never been tested on automated essay grading system. This experiment examines the effect of GLSA implementation on automated essay grading system and evaluates its performance compared to LSA based system. GLSA performance was shown to outperform LSA based automated essay grading system. From 60 samples, GLSA outperform LSA 47 times (78,3%), LSA outperform GLSA 9 times (15%), and 4 times (6,7%) resulted the same score accuracy. Pearson Product Moment Correlation Value resulted from the experiment using LSA based system is 0.57775-0.85868 and 0.73335-0.76971 for GLSA based system. This result incidates LSA and GLSA based system used on this experiment are ready to be used as human rater replacement because both of the system deliver similar performance with human rater. Processing time of LSA based system is faster with average processing time consecutively 0,07466 second and 0,2935 second compared to GLSA consecutively 1,32329 second and 17,3641 second. GLSA requires more processing time than LSA based system because GLSA based system has more calculation steps than LSA. However GLSA showed better performance, therefore it's believed that its benefits outweigh the computational cost."

"Metode spektral Laplacian Eigenmaps Embedding (LEM) dapat memelihara kemiripan dokumen dengan baik dibandingkan dengan metode reduksi dimensi lainnya. Hal ini terlihat dari unjuk kerja sistem berbasis GLSALEM yang lebih baik jika dibandingkan dengan sistem lainnya pada percobaan. Peningkatan unjuk kerja tidak hanya ditunjukkan dengan berkurangnya rata-rata selisih nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater tetapi juga jumlah percobaan dimana GLSA-LEM menghasilkan nilai yang paling mendekati dengan nilai yang dihasilkan oleh human rater. Kekurangan dari implementasi metode LEM adalah bahwa LEM hanya dapat diterapkan pada matriks jawaban referensi dan mahasiswa dengan dimensi yang lebih besar atau sama dengan enam. Oleh karena itu jawaban referensi dan jawaban mahasiswa yang terlalu pendek tidak akan dapat diproses oleh LEM. Hal ini dapat ditanggulangi dengan mengimplementasikan batas minimal kata jawab pada sistem berbasis GLSA-LEM sehingga semua jawaban dapat diproses oleh LEM. Pada percobaan ini didapatkan rata-rata selisih antara nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater pada sistem berbasis LSA adalah 44,49; pada sistem berbasis GLSA adalah 23,41; dan pada sistem berbasis GLSA-LEM adalah 11,67.Hasil tersebut menunjukkan bahwa GLSA-LEM paling unggul karena menghasilkan rata-rata selisih yang paling kecil antara nilai yang dihasilkan oleh sistem dengan nilai yang dihasilkan oleh human rater. Hal ini didukung oleh jumlah percobaan dimana sistem berbasis GLSA-LEM bekerja paling baik yakni dari sejumlah 245 percobaan yang dapat diterapkan LEM didapatkan bahwa pada 82 percobaan sistem GLSA-LEM menghasilkan selisih nilai yang paling kecil dibandingkan dengan sistem GLSA yang unggul pada 40 percobaan dan sistem LSA yang unggul pada 10 percobaan saja. Dengan demikian hipotesis yang diajukan terbukti benar bahwa implementasi LEM pada sistem GLSA akan meningkatkan akurasi sistem. Selisih nilai yang lebih kecil menandakan sistem dapat menghasilkan nilai yang lebih mendekati nilai yang dihasilkan oleh human rater. Hal ini sesuai dengan tujuan dari sistem penilai esai otomatis yang diciptakan untuk menggantikan kerja human rater dimana nilai yang dihasilkan harus dapat mendekati nilai yang dihasilkan oleh human rater. Rata-rata waktu proses LSA adalah 0,164 detik, GLSA sebesar 0,521 detik, dan GLSA-LEM sebesar 4,982 detik.

---

Laplacian Eigenmaps Embedding preserve semantic proximity better than other dimension reduction methods. GLSA performance may be improved further by implementing LEM. Experiment conducted has shown that GLSA-LEM based system has outperform on this experiment. Performance improvement not only shown from average delta between the grades calculated using the system and the grades resulted from human rater but also the number of the tests that outperformed by GLSA-LEM. The disadvantage of LEM implementation is that LEM only can be applied to answer matrices with minimum dimension of six. Therefore answers that are too short may not be processed using LEM. This can be mitigated by implementing minimum threshold to the answers so it can't be submitted if less than required length. This experiment show that LSA average delta between grades resulted from the system and grades resulted from human rater is 44,49; GLSA?s average delta is 23,41 and GLSA-LEM?s average delta is 11,67.

These results show GLSA-LEM is the best because generate grades with the least average delta between the grades calculated using the system and the grades resulted from human rater. These results also supported by the number of essays from total of 245 essays that can be applied GLSA-LEM graded best with least delta by GLSA-LEM that is 82; compared to GLSA that is 40; and LSA that is 10. Therefore the hypotesis is proven to be correct that LEM implementation on GLSA based system improves system's accuracy. Least delta indicates system generate better grades that is closer to human rater. These results is in accordance with the purpose of automated essay grading system that created to replace human raters in which the grades resulted by the system should be close to the grade generated by human raters. LSA's average processing time is 0,164 seconds, GLSA's is 0,521 seconds, and GLSA-LEM?s is 4,982 seconds."

"Sistem persamaan kata merupakan suatu algoritma yang dapat digunakan pada sistem penilaian esai secara otomatis yang dapat berfungsi dengan untuk membandingkan kata memiliki makna yang sama (sinonim) sehingga akan diberi bobot yang sama. Hal ini telah dibuktikan dari percobaan dimana SIMPLE-O berbasis GLSA yang ditambahkan sistem persamaan kata dalam kalimat mengungguli sistem yang sama tanpa adanya penambahan persamaan kata. Dari 6 soal yang diujicobakan dengan 5 sampel pada dua soal dummy dan 30 sampel pada sisa 4 soal percobaan dengan membandingkan nilai selish hasil penilaian sistem terhadap persamaan kata GLSA dengan persamaan kata unggul sebanyak 5 kali atau sebesar 83,33% dibandingkan dua basis algoritma lainnya yaitu LSA dan GLSA tanpa sistem persamaan kata.

---

Word similiarity detection system is an algorithm that can be used on automatic essay grader to compare word to another of which have similar meaning (synonim) so that can be given the equal value. With this algorithm the word with significant meaning on the text can be detected an the word which have the different terms but have the same meaning from the answer. Experiment conducted has shown that word similiarity algorithm which has embedded to SIMPLE-O based on GLSA outperform the GLSA without word similiarity in term of the accuracy.

From 6 questions data conducted, GLSA with word similiarity outperform the other algorithm which are LSA and GLSA without word similiarity process 5 times or equal to 83,33%. The result from the average delta of the value is also proven that the word similiarity algorithm is have better performance than the other. Word similiarity algorithm proven to increase the accuracy of essay grader for text in Bahasa Indonesia."

"Dalam suatu ujian, terutama di tingkat universitas, terdapat berbagai macam bentuk soal yang harus dikerjakan oleh mahasiswa. Salah satu bentuk yang banyak digunakan adalah ujian berupa esai. Namun ketika jawaban sudah terkumpul, terdapat kendala yang dihadapi oleh dosen, yaitu melakukan penilaian esai yang banyak memakan waktu dan tenaga. Oleh karena itu, dikembangkanlah suatu sistem untuk membantu pekerjaan dosen tersebut.Simple O merupakan sistem yang dikembangkan di Departemen Teknik Elektro Universitas Indonesia. Mulai dikembangkan pada tahun 2007, Simple O merupakan suatu sistem yang dapat melakukan penilaian terhadap perkerjaan mahasiswa yang bersifat esai. Tujuan dari diciptakannya sistem ini adalah untuk membantu dosen dalam melakukan penilaian terhadap ujian yang telah dilakukan mahasiswa.Simple O menggunakan algoritma Latent Semantic Analysis (LSA) ketika pertama kali dikembangkan. Kemudian sistem tersebut dikembangkan hingga menjadi algoritma Generalized Latent Semantic Analysis (GLSA) dan pada akhirnya dikembangkan algoritma Hybrid.

---

On some tests, especially in university, there are lots of types of questions that must be done by the students. One of them is essay. But when the answers are collected, there is a problem that is faced by the lecturer, the amount of time and energy that need to use by them. Because of that, people developped a system that can help the lecturer.

Simple O is a system that is developped in Electrical Engineering Department, University of Indonesia. The development was started in 2007, and it is a system that can grade the work of the students, in the form of essay. The purpose of the invention of this system is to help the lecturer in giving grades to the tests that have been done by the students.

Simple O uses LSA algorithm when the first time of its development. Then the system has been developped into Generalized Latent Semantic Analysis (GLSA) and finally it becomes Hybrid algorithm."

"Stemming merupakan salah satu bagian penting dalam proses penilaian esai secara otomatis. Stemming merupakan proses transformasi suatu kata-kata tertentu menjadi kata dasarnya. Salah satu algoritma stemming yang ada adalah dengan menggunakan persamaan kata, dimana semua kata yang berimbuhan dan istilah yang berbeda untuk satu kata bermakna sama dapat disetarakan bobotnya. Untuk itu proses stemming menggunakan persamaan kata ini akan diimplementasikan pada sistem penilai esai otomatis Simple-O berbasis Generalized Latent Semantic Analysis (GLSA) yang bertujuan untuk meningkatkan ketepatan penilaiannya agar semakin mendekati hasil penilaian oleh manusia. Dari 98 kali pengujian, kinerja GLSA menggunakan proses stemming memberikan hasil yang lebih baik dengan tingkat ketepatan sebanyak 72 kali atau sekitar 73,4% lebih unggul dibandingkan GLSA tanpa proses stemming yang hanya unggul sebanyak 20 kali dari 98 kali percobaan atau dengan presentase sekitar 20,4%. Hal ini menunjukkan bahwa implementasi proses stemming pada Simple-O berbasis GLSA menghasilkan hasil yang lebih baik daripada GLSA tanpa proses stemming.

---

Stemming is one of the important processes on automatic essay grading. Stemming is a process to transform a word into its root word in order to make essay grader becoming more accurate. One of stemming algorithm that have developed is using word similiarity, where in this algorithm all the prefixed word or the other words that have a similar meaning have an equal weight. This algorithm is implemented on an automatic essay graderbased on Generalized Latent Semantic Analysis (GLSA) called Simple-O in order to match the grade from human raters.

The experiment result shows that from 98 samples GLSA algorithm with the stemming process outperform GLSA without stemming 72 times with the percentage about 73,4%, on the other hand GLSA without stemming only give the better result 20 times with the percentage of 20,4%. This experiments result shows that GLSA based Simple-O using stemming algorithm gives better result than GLSA without stemming process."

"Sistem penilai otomatis SIMPLE-O untuk bahasa Jepang telah diteliti selama beberapa tahun belakangan. Namun, penilaian yang dilakukan belum mencakup nilai morfologis, padahal morfologi merupakan hal yang penting dalam ujian sastra. Penelitian ini melakukan clustering pada 215 jawaban mahasiswa dan mengelompokkannya ke 6 cluster berdasarkan topiknya. Berdasarkan hasil, didapatkan bahwa K-means clustering mengelompokkan dengan lebih baik dibanding hierarchical agglomerative clustering (HAC), terutama dengan penambahan Romanisasi. K-means clustering dengan Romansasi menunjukkan 96.5% precision dan 96% recall, sementara HAC memiliki 95% precision dan 93.7% recall. Pada proses penilaian, jawaban dinilai pertopik atau nomor soal dan dicari rasio antara nilai yang didapat dari LSA dengan nilai morfologi dengan akurasi tertinggi. LSA memiliki rata-rata akurasi 79.92%. Penambahan analisis morfologi pada nilai akhir mendapatkan akurasi tertinggi sebesar 78.77% dengan bobot 10% nilai morfologi dan 90% nilai LSA.

---

The research on automated grading system SIMPLE-O for Japanese language has been done for a few years. However, in the grading system, there is still no means to grade the morphological component even though it is an important part of language test. This research groups 215 student answers to 6 cluster according to the topics. According to the results, K-means clustering performs better than hierarchical agglomerative clustering (HAC) especially with Romanization. K-means clustering with Romanization shows 96.5% precision and 96% recall while HAC has 95% precision and 93.7% recall. For the grading prosess, the answers will be scored by its topic or question number and the ratio between similarity measurement score and morphological score with the highest accuracy will be selected. LSA has the average accuracy of 79.92%. With the addition of morphological analysis on the final score, the highest average accuracy of 78.77% is selected with the ratio of 10% morphological score and 90% LSA score."

"ABSTRAKDalam penelitian ini, Sistem Penilaian Esai Ototmatis (Simple-O) dirancang menggunakan algoritma Latents Semantic Analysis (LSA), Term Frequency-Inverse Document Frequency, dan algoritma Support Vector Machine (SVM). Algoritma LSA digunakan untuk mengolah kata-kata yang merepresentasikan kata-kata dalam teks menjadi matriks. Algoritme SVM digunakan untuk mengklasifikasikan esai jawaban siswa berdasarkan topiknya. TF-IDF digunakan untuk menimbang setiap kata dalam teks yang akan menjadi input SVM. Dari penelitian ini ketepatan penggunaan jawaban dosen sebagai jawaban referensi adalah 72,01% dan ketepatan penggunaan kata kunci sebagai jawaban referensi adalah 69,5%.

---

ABSTRACTIn this study, the Automatic Essay Assessment System (Simple-O) was designed using the Latents Semantic Analysis (LSA) algorithm, Term Frequency-Inverse Document Frequency, and the Support Vector Machine (SVM) algorithm. The LSA algorithm is used to process words that represent words in the text into a matrix. The SVM algorithm is used to classify student essays based on their topic. TF-IDF is used to weigh each word in the text that will become SVM input. From this research, the accuracy of using lecturers' answers as reference answers was 72.01% and the accuracy of using keywords as reference answers was 69.5%."

"Skripsi ini membahas tentang perbandingan dua algoritma untuk sistem penilaian esai otomatis (Simple-O), yaitu generalized latent semantic analysis (GLSA) laplacian eigenmaps embedding (LEM) dan hybrid indexing. Kedua algoritma tersebut dibandingkan untuk mengetahui cara kerja kedua algoritma tersebut, kecepatan proses, dan hasil penilaiannya. Perbandingan cara kerja dilakukan dengan membandingkan pseudocode dari masing-masing algoritma. Kecepatan proses dihitung untuk mengetahui algoritma yang lebih cepat dalam menilai esai.Algoritma GLSA hybrid indexing merupakan pengembangan dari algoritma LEM. Perbedaan mendasar dari kedua algoritma tersebut adalah pada perlakuan kata benda dan kata-kata selain kata benda. Penelitian ini menggunakan sampel delapan soal yang dikerjakan oleh 48 mahasiswa (384 data). Dari hasil penelitian, GLSA LEM memiliki total waktu proses 46.51454 detik lebih cepat dari GLSA hybrid indexing. Sedangkan rata-rata waktu proses GLSA LEM dan GLSA hybrid indexing untuk menilai satu jawaban adalah 6-6.6 detik. Hasil penilaian dari GLSA LEM dan GLSA hybrid indexing memiliki tingkat kemiripan tertinggi 95,83% dan terendah 16,67%. Dari percobaan sebanyak delapan soal, lima diantaranya memiliki tingkat kemiripan lebih dari 83,33%.

---

This thesis discusses the comparison between two algorithms which used in automated essay grading system (Simple-O). The two algorithms are generalized latent semantic analysis (GLSA) embedding laplacian eigenmaps (LEM) and hybrid indexing. Both algorithms are compared to determine how the algorithms works, processing time, and the scores. Pseudocode can be used to determine how the algorithms are working, The processing time is calculated to find out which algorithm is faster in assessing essays.

GLSA hybrid indexing algorithm is a development from GLSA LEM. The fundamental difference of the two algorithms is in the treatment of a subset of nouns and words other than nouns. This research using samples of eight questions which filled by 48 students (384 data). From the research, GLSA LEM has a total processing time of 46.51454 seconds faster than GLSA hybrid indexing. While the average processing time GLSA LEM and hybrid GLSA indexing to grade the answer is 6 to 6.6 seconds. GLSA LEM and GLSA hybrid indexing grades have the highest similarity level of 95.83% and 16.67% for the lowest similarity level. From the eight questions, five questions have similarity level more than 83.33%."

"Setiap proses pembelajaran memerlukan suatu evaluasi berupa ujian, begitu pula dengan e- learning. Pada proses e- learning jenis ujian yang banyak digunakan adalah jenis ujian pilihan ganda dan isian singkat. Alasannya adalah kemudahan dalam proses penilaian, komputer yang menjadi komponen penting dalam proses e-learning lebih mudah dalam melakukan penilaian ujian pilihan ganda dan isian singkat secara akurat dibandingkan dengan melakukan penilaian jenis ujian esai. Padahal jenis ujian pilihan ganda dan isian singkat memiliki banyak kekurangan bila dibandingkan dengan jenis ujian esai. Hal inilah yang mendasari dibuatnya sistem penilaian jawaban esai secara otomatis (automated essay grading). Sistem yang dibuat merupakan sistem yang berbasiskan web dengan a lasan kemudahan pengaksesan oleh pihak user dari mana saja dan kapan saja. Dalam hal penilaian metode yang digunakan adalah metode Latent Semantic Analysis (LSA). Metode ini mempunyai ciri khas hanya mementingkan kata-kata kunci yang terkandung dalam sebuah kalimat tanpa memperhatikan karakteristik linguistiknya. Pada LSA, kata-kata direpresentasikan dalam sebuah matriks semantik dan kemudian diolah secara matematis menggunakan teknik aljabar linier Singular Value Decomposition (SVD). Walaupun metode ini relatif sederhana, namun memiliki tingkat korelasi yang cukup tinggi bila dibandingkan dengan penilaian yang dilakukan manusia secara manual. Skripsi ini membahas mengenai kinerja dari sistem penilaian esai otomatis berbasis web dengan menggunakan metode LSA dengan 3 tingkat bobot kata kunci. Pada sistem ini dilakukan pengujian mengenai kecepatan pada waktu memasukkan soal dan jawaban serta pada waktu penghitungan nilai. Pengujian tersebut dilakukan dengan menggunakan bantuan server pada localhost. Pengujian mengenai keakuratan penilaian juga dilakukan dengan cara membandingkan hasil penilaian sistem dengan human rater. Dari hasil pengujian, perbandingan penilaian dengan human rater menunjukkan angka korelasi sebesar 0,777402209 dengan rata-rata selisih nilai untuk setiap soal sebesar 17,36.

---

Each learning process need an evaluation in form like an exam, so also with elearning. In e-learning process type of exam that often used is multiple choice and short essay. The reason is easiness in asssessment process, computer that became important part in e- learning process is easier to grade a multiple choice and short essay exam accurately compared with an essay exam. Whereas multiple choice and short essay exam have many flaw if we compared it with long essay exam. This was the basic idea of automated essay grading.

This system was made based on the web based application, the reason is web based application is easy to be accessed by user anytime from anywhere. Scoring method that is used in this system is Latent Semantic Analysis method (LSA). This method has characteristic to only emphasize keywords in a sentence without paying attention to its linguistic characteristic. In LSA, words is represented in a semantic matrix and then processed mathemathically with Singular Value Decomposition (SVD). Despite of its simpicity, this method have a quite high correlation when compared with assessment of human rater.

Performance of web based automated essay grading system by using LSA method with 3 levels weight of keywords is tested here. Testing concerning speed when entering a question and answer to system and when calculating exam score are conducted in this system. Those testing is conducted by using server in localhost. Testing concerning preciseness of its grading is also carried out by comparing result of system?s grading and human rater. From result of this testing, comparison of system?s grading with human rater showed the correlation figure of 0,777402209 with average difference of score is 17,36 for every question."

"ABSTRAKPada penelitian ini dilakukan penerapan Support Vector Machine dan LSAMetode tersebut dibahas dan dipelajari lebih lanjut untuk merancang Sistem Penilaian Esai Otomatis (Simple-O). Simple-O merupakan sistem yang saat ini dikembangkan oleh UI Jurusan Teknik Elektro yang bertujuan untuk menilai esai secara otomatis. Support Vector Machine, yang merupakan algoritma pembelajaran yang diawasi, dipelajari selanjutnya untuk meningkatkan tingkat akurasi dalam Simple-O bersama dengan metode LSA yang digunakan Bahasa pemrograman Python. Dari hasil tes rata-rata tertinggi skor akurasi yang diperoleh sistem sebesar 88.06% dengan masukan kalimat kanji, katakana, hiragana dan nilai TDM siswa jawaban yang mencerminkan frekuensi kemunculan kata kunci dalam dokumen.

---

ABSTRACTIn this study, the implementation of Support Vector Machine and LSA was carried out These methods are discussed and studied further to design an Essay Assessment System Automatic (Simple-O). Simple-O is a system currently being developed by the UI Department of Electrical Engineering which aims to assess essays automatically. Support Vector Machine, which is a supervised learning algorithm, is learned furthermore to increase the level of accuracy in Simple-O along with the LSA method used Python programming language. From the highest average test results the accuracy score obtained by the system is 88.06% with input the kanji, katakana, hiragana and TDM scores of the students answers that reflect the frequency with which keywords appear in the document."