Hasil Pencarian  ::  Simpan CSV :: Kembali

"Model natural language processing (NLP) ditantang tidak hanya memiliki kemampuan “mengingat” secara statistik, tapi juga dapat melakukan semantic reasoning mendekati kemampuan manusia dalam memahami bahasa. Tugas ini disebut juga sebagai tugas yang menguji penalaran (commonsense reasoning) untuk suatu model. Tugas commonsense reasoning pada bahasa Indonesia sudah ada, tetapi performa mesin pada tugas tersebut masih terbilang rendah. Penelitian ini mencoba meningkatkan performa mesin dalam tugas commonsense reasoning bahasa Indonesia. Digunakan tiga buah metode, yaitu intermediate-task transfer learning, cross-lingual transfer learning, dan task recasting. Ditemukan kalau intermediate-task transfer learning efektif dilakukan untuk data commonsense reasoning bahasa Indonesia, dengan peningkatan performa di berbagai tugas. Metode cross-lingual transfer learning juga ditemukan sangat efektif dilakukan. Didapatkan performa yang melebihi baseline pada tugas IndoGrad hanya dengan melatih model dalam data bahasa Inggris dan melakukan klasifikasi secara zero-shot pada data bahasa Indonesia. Lalu didapatkan juga performa state-of-the-art (SOTA) baru dalam IndoGrad yaitu 0.803, naik 0.116 dari performa tertinggi penelitian sebelumnya. Performa tersebut dicapai menggunakan model yang dilakukan fine-tuning pada data bahasa Indonesia setelah dilatih dengan data bahasa Inggris. Pada metode task recasting, performa model masih rendah dan didapatkan performa chance pada data uji. Dilakukan juga penjelasan terhadap model dalam menjawab tugas commonsense reasoning bahasa Indonesia. Penjelasan dilakukan dengan visualisasi attention dan probing task. Ditemukan model mendapatkan kenaikan performa dalam probing task ketika performa pada tugas commonsense reasoning juga naik. Ditemukan juga model dapat menjawab dengan benar dengan memberikan attention yang lebih besar ke pada jawaban yang benar dan mengurangi attention pada jawaban yang salah.

---

A natural language processing (NLP) model is challenged to not only ’remember’ statistically, but can also perform semantic reasoning close to human ability on language understanding. This task is also known as a commonsense reasoning task. Commonsense reasoning tasks in Indonesian already exist, but the machine performance is still relatively low. This research aims to improve the machine performance on commonsense reasoning tasks in Indonesian. Three methods are used: intermediate-task transfer learning, cross-lingual transfer learning, and task recasting. It was found that intermediate-task transfer learning was effective for commonsense reasoning tasks in Indonesian, with improved performance on various tasks. Cross-lingual transfer learning was also found to be very effective. A model that only trained on English data and performs zero-shot classification was found to have performance that exceeds baseline on the IndoGrad task. A new state-of-the-art (SOTA) performance was also achieved on the IndoGrad task, which is 0.803, up 0.116 from the highest performance in the previous study. This result is achieved using a model that was fine-tuned on Indonesian data after being trained on English data. On the task recasting method, the model performance is still low and chance performance is achieved on the test set. Model explanation on answering a commonsense reasoning task in Indonesian is also conducted. Probing task and attention visualization are used for model explanation. It was found that the model that got increased performance on probing task also got increased performance on commonsense reasoning task. It was also found that the model can answer correctly by giving more attention to the correct answer and reducing attention to the incorrect answer."

"Pendekatan transfer learning telah digunakan di beragam permasalahan, khususnya low-resource language untuk meningkatkan performa model di masing-masing permasalahan tersebut. Fokus pada penelitian ini ingin menyelidiki apakah pendekatan cross-lingual transfer learning mampu meningkatkan performa pada model constituency parsing bahasa Indonesia. Constituency parsing adalah proses penguraian kalimat berdasarkan konstituen penyusunnya. Terdapat dua jenis label yang disematkan pada konstituen penyusun tersebut, yakni POS tag dan syntactic tag. Parser model yang digunakan di penelitian ini berbasis encoder-decoder bernama Berkeley Neural Parser. Terdapat sebelas macam bahasa yang digunakan sebagai source language pada penelitian ini, di antaranya bahasa Inggris, Jerman, Prancis, Arab, Ibrani, Polandia, Swedia, Basque, Mandarin, Korea, dan Hungaria. Terdapat dua macam dataset bahasa Indonesia berformat Penn Treebank yang digunakan, yakni Kethu dan ICON. Penelitian ini merancang tiga jenis skenario uji coba, di antaranya learning from scratch (LS), zero-shot transfer learning (ZS), dan transfer learning dengan fine-tune (FT). Pada dataset Kethu terdapat peningkatan F1 score dari 82.75 (LS) menjadi 84.53 (FT) atau sebesar 2.15%. Sementara itu, pada dataset ICON terjadi penurunan F1 score dari 88.57 (LS) menjadi 84.93 (FT) atau sebesar 4.11%. Terdapat kesamaan hasil akhir di antara kedua dataset tersebut, di mana masing-masing dataset menyajikan bahwa bahasa dari famili Semitic memiliki skor yang lebih tinggi dari famili bahasa lainnya.

---

The transfer learning approach has been used in various problems, especially the low-resource languages, to improve the model performance in each of these problems. This research investigates whether the cross-lingual transfer learning approach manages to enhance the performance of the Indonesian constituency parsing model. Constituency parsing analyzes a sentence by breaking it down by its constituents. Two labels are attached to these constituents: POS tags and syntactic tags. The parser model used in this study is based on the encoder-decoder named the Berkeley Neural Parser. Eleven languages are used as the source languages in this research, including English, German, French, Arabic, Hebrew, Polish, Swedish, Basque, Chinese, Korean, and Hungarian. Two Indonesian PTB treebank datasets are used, i.e., the Kethu and the ICON. This study designed three types of experiment scenarios, including learning from scratch (LS), zero-shot transfer learning (ZS), and transfer learning with fine-tune (FT). There is an increase in the F1 score on the Kethu from 82.75 (LS) to 84.53 (FT) or 2.15%. Meanwhile, the ICON suffers a decrease in F1 score from 88.57 (LS) to 84.93 (FT) or 4.11%. There are similarities in the final results between the two datasets, where each dataset presents that the languages from the Semitic family have a higher score than the other language families."

"

Perkembangan teknologi pemrosesan ucapan sangat pesat akhir-akhir ini. Namun, fokus penelitian dalam Bahasa Indonesia masih terbilang sedikit, walaupun manfaat dan benefit yang dapat diperoleh sangat banyak dari pengembangan tersebut. Hal tersebut yang melatarbelakangi dilakukan penelitian ini. Pada penelitian ini digunakan model transfer learning (Inception dan ResNet) dan CNN untuk melakukan prediksi emosi terhadap suara manusia berbahasa Indonesia. Kumpulan data yang digunakan dalam penelitian ini, diperoleh dari berbagai film dalam Bahasa Indonesia. Film-film tersebut dipotong menjadi potongan yang lebih kecil dan dilakukan dua metode ekstraksi fitur dari potongan audio tersebut. Ekstraksi fitur yang digunakan adalah Mel-Spectrogram dan MelFrequency Cepstral Coefficient (MFCC). Data yang diperoleh dari kedua ekstraksi fitur tersebut dilatih pada tiga model yang digunakan (Inception, ResNet, serta CNN). Dari percobaan yang telah dilakukan, didapatkan bahwa model ResNet memiliki performa yang lebih baik dibanding Inception dan CNN, dengan rata-rata akurasi 49%. Pelatihan model menggunakan hyperparameter dengan batch size sebesar 16 dan dropout (0,2 untuk Mel-Spectrogram dan 0,4 untuk MFCC) demi mendapatkan performa terbaik.

---

Speech processing technology advancement has been snowballing for these several years. Nevertheless, research in the Indonesian language can be counted to be little compared to other technology research. Because of that, this research was done. In this research, the transfer learning models, focused on Inception and ResNet, were used to do the speech emotion recognition prediction based on human speech in the Indonesian language. The dataset that is used in this research was collected manually from several films and movies in Indonesian. The films were cut into several smaller parts and were extracted using the Mel-Spectrogram and Mel-frequency Cepstrum Coefficient (MFCC) feature extraction. The data, which is consist of the picture of Mel-spectrogram and MFCC, was trained on the models followed by testing. Based on the experiments done, the ResNet model has better accuracy and performance compared to the Inception and simple CNN, with 49% of accuracy. The experiments also showed that the best hyperparameter for this type of training is 16 batch size, 0.2 dropout sizes for Mel-spectrogram feature extraction, and 0.4 dropout sizes for MFCC to get the best performance out of the model used.

"

"Part-of-speech tagging, adalah task di bidang Natural Language Processing di mana setiap kata di dalam suatu kalimat dikategorisasi ke dalam kategori parts-of-speech (kelas kata) yang sesuai. Pengembangan model POS tagger menggunakan pendekatan machine learning membutuhkan dataset dengan ukuran yang besar. Namun, dataset POS tagging tidak selalu tersedia dalam jumlah banyak, seperti dataset POS tagging untuk bahasa Jawa. Dengan jumlah data yang sedikit, model POS tagger yang dilatih kemungkinan tidak akan memiliki performa yang optimal. Salah satu solusinya adalah dengan menggunakan pendekatan cross-lingual transfer learning, di mana model dilatih menggunakan suatu source language pada suatu task agar dapat menyelesaikan task yang sama pada suatu target language. Penelitian ini bertujuan untuk menguji performa pre-trained language model (mBERT, XLM-RoBERTa, IndoBERT) dan melihat pengaruh cross-lingual transfer learning terhadap performa pre-trained language model untuk POS tagging bahasa Jawa. Percobaan yang dilakukan menggunakan lima source language, yaitu bahasa Indonesia, bahasa Inggris, bahasa Uighur, bahasa Latin, dan bahasa Hungaria, serta lima jenis model, yaitu fastText + LSTM, fastText + BiLSTM, mBERT, XLM-RoBERTa, dan IndoBERT; sehingga secara keseluruhan ada total 35 jenis model POS tagger. Model terbaik yang dilatih tanpa pendekatan cross-lingual transfer learning dibangun menggunakan IndoBERT, dengan akurasi sebesar 86.22%. Sedangkan, model terbaik yang dilatih menggunakan pendekatan cross-lingual transfer learning dalam bentuk dua kali fine-tuning, pertama menggunakan source language dan kedua menggunakan bahasa Jawa, sekaligus model terbaik secara keseluruhan dibangun menggunakan XLM-RoBERTa dan bahasa Indonesia sebagai source language, dengan akurasi sebesar 87.65%. Penelitian ini menunjukkan bahwa pendektan cross-lingual transfer learning dalam bentuk dua kali fine-tuning dapat meningkatkan performa model POS tagger bahasa Jawa, dengan peningkatan akurasi sebesar 0.21%–3.95%.

---

Part-of-speech tagging is a task in the Natural Language Processing field where each word in a sentence is categorized into its respective parts-of-speech categories. The development of POS tagger models using machine learning approaches requires a large dataset. However, POS tagging datasets are not always available in large quantities, such as the POS tagging dataset for Javanese. With a low amount of data, the trained POS tagger model may not have optimal performance. One of the solution to this problem is using the cross-lingual transfer learning approach, where a model is trained using a source language for a task so that it can complete the same task on a target language. This research aims to test the performance of pre-trained language models (mBERT, XLM-RoBERTa, IndoBERT) and to see the effects of cross-lingual transfer learning on the performance of pre-trained language models for Javanese POS tagging. The experiment uses five source languages, which are Indonesian, English, Uyghur, Latin, and Hungarian, as well as five models, which are fastText + LSTM, fastText + BiLSTM, mBERT, XLM-RoBERTa, and IndoBERT; hence there are 35 POS tagger models in total. The best model that was trained without cross-lingual transfer learning approach uses IndoBERT, with an accuracy of 86.22%. While the best model that was trained using a cross-lingual transfer learning approach, implemented using a two fine-tuning process, first using the source language and second using Javanese, as well as the best model overall uses XLM-RoBERTa and Indonesian as the source language, with an accuracy of 87.65%. This research shows that the cross-lingual transfer learning approach, implemented using the two fine-tuning process, can increase the performance of Javanese POS tagger models, with a 0.21%–3.95% increase in accuracy."

"Leptomeningeal metastatis merupakan indikasi keganasan yang terjadi pada pasien leukemia. Meskipun hanya memiliki porsi 30-40% yang menyebabkan kekambuhan keganasan pada pasien leukemia, hal tersebut yang dijadikan dasar dalam menentukan pengobatan terbaik yang diberikan kepada mereka. Leptomeningeal metastasis lebih baik dideteksi dengan menggunakan Magnetic Resonance Imaging (MRI) karena sensitivitasnya yang tinggi dalam citra neuraxis. Kemampuan expert yang tinggi untuk melihat dan menganalisis sangat diperlukan dalam membaca hasil Brain MRI pasien leukemia dengan suspek leptomeningeal metastasis. Oleh karena itu, klasifikasi akan memakan waktu yang lama dan memungkinkan kesalahan pembacaan hasil. Berbagai metode telah banyak diusulkan dan dikembangkan dalam klasifikasi Brain MRI untuk mendapatkan hasil terbaik namun tantangan dalam penelitian ini adalah leptomeningeal metastasis yang karakteristiknya lebih sudah dikenali dibandingkan tumor pada otak. Oleh karena itu peneliti mengusulkan pengklasifikasian leptomeningeal metastasis dengan menggunakan metode CNN via transfer learning. Dengan berbagai skenario yang dilakukan, hasil akurasi terbaik adalah implementasi metode CNN (ResNet50) via transfer learning mencapai 82,22%.

---

Leptomeningeal metastasis is an indication of malignancy that occurs in leukemia patients. Although it only has a 30-40% portion, which causes recurrence of malignancy in leukemia patients, it is the basis for determining the best treatment given to them. Leptomeningeal metastases are better detected by using Magnetic Resonance Imaging (MRI) because of their high sensitivity in neuroaxis images. A high expert ability to see and analyze is needed in reading the brain MRI results of leukemia patients with suspected leptomeningeal metastasis. Therefore, the classification will take a long time and may an incorrect reading of the results. Various methods have been proposed and developed in the brain MRI classification to get the best results, but the challenge in this research is leptomeningeal metastasis, whose characteristics are more not recognizable than tumors in the brain. Therefore, we propose the classification of leptomeningeal metastasis using the CNN method via transfer learning. With various scenarios done, we obtained the best accuracy result is the implementation of the CNN (ResNet50) method via transfer learning, up to 82.22%."

"Pandemi COVID-19 yang semakin mengkhawatirkan telah membatasi masyarakat dalam melakukan kontak fisik dengan benda-benda pada fasilitas umum. Berbagai sarana interaksi yang membutuhkan kontak fisik telah digantikan dengan alternatif yang mendukung interaksi secara contactless. Elevator merupakan salah satu fasilitas umum yang paling sering digunakan masyarakat, maka perlunya alternatif dari penggunaan tombol pada elevator untuk mengurangi kemungkinan tersebarnya virus. Perkembangan teknologi computer vision telah menghasilkan banyak implementasi yang bermanfaat, salah satu implementasi tersebut adalah pendeteksian objek. Pada penelitian ini, dilakukan perancangan dan implementasi dari deep learning untuk menghasilkan model pengenalan gestur tangan secara real-time yang ditujukan untuk diterapkan sebagai sarana interaksi dengan elevator. Metode transfer learning digunakan karena dapat menghasilkan model yang akurat tanpa perlu menggunakan dataset yang besar. Perancangan model dilakukan menggunakan Tensorflow Object Detection API dan SSD MobileNetV2 sebagai pre-trained model yang telah dilatih dengan dataset Microsoft COCO. Model yang telah dilatih dengan jumlah training steps sebesar 11000 menggunakan Dataset A pada nilai threshold 0.7 dapat mendeteksi 8 gestur tangan dengan nilai akurasi mencapai 90% berdasarkan uji coba real-time yang dilakukan.

---

The increasingly worrying COVID-19 pandemic has limited people from making physical contact with objects in public facilities. Various means of interaction that require physical contact have been replaced with alternatives that support contactless interaction. Elevators are one of the public facilities that are most often used by the public, so there is a need for alternatives to using buttons on elevators to reduce the possibility of spreading the virus. The development of computer vision technology has resulted in many useful implementations, one of which is object detection. In this research, the design and implementation of deep learning and artificial neural network is carried out to produce a real-time hand gesture recognition model that is intended to be applied as a means of interaction with elevators. The transfer learning method is used because it can produce accurate models without the need to use large datasets. The model design is carried out using the Tensorflow Object Detection API and SSD MobileNetV2 as a pre-trained model that has been trained with the Microsoft COCO dataset. The model that has been trained with the number of training steps of 11000 using the Dataset A at a threshold value of 0.7 can detect 8 hand gestures with an accuracy reaching up to 90% based on real-time trials carried out."

"Metadata statistik memiliki peran yang sangat penting bagi masyarakat. Dengan adanya metadata statistik, kita dapat mengetahui segala informasi mengenai semua kegiatan statistik yang dilakukan. Pada penelitian ini kami akan membangun sistem Closed Domain Question Answering (CDQA) mengenai metadata statistik (CDQA-Metadata Statistik). Sistem ini dibangun dengan menggunakan metode transfer learning pada data human question dan automatic question. Penggunaan metode transfer learning digunakan karena benchmark yang besar mengenai metadata statistik belum ada sama sekali. Pada penelitian ini kami akan menggunakan arsitektur retriever(BM25)-reader(IndoBERT) berbasis transfer learning. Ada tiga eksperimen utama yang kami lakukan. Hasil eksperimen pertama kami menunjukkan bahwa pada data human question model twostage fine-tuning (human) yang merupakan model dengan metode transfer learning secara statistik sangat signifikan mengguguli model non transfer learning dengan peningkatan exact match sebesar 53 kali lipat dan f1-score sebesar 9 kali lipat. Kemudian pada data automatic question, model two-stage fine-tuning (automatic) yang merupakan model dengan metode transfer learning secara statistik signifikan mengguguli model non transfer learning dengan peningkatan 80 kali lipat untuk exact match dan 13 kali lipat untuk f1-score. Hasil eksperimen kedua kami menujukkan bahwa sistem CDQAMetadata Statistik berbasis transfer learning secara statistik signifikan lebih baik pada data automatic question dibandingkan data human question. Hal ini mungkin disebabkan pada data automatic question memiliki term-of overlap yang lebih banyak dibandingkan data human question. Lalu pada hasil eksperimen ketiga menunjukkan bahwa pada data human question, penambahan data automatic question saat fine-tuning tidak dapat meningkatkan performa CDQA-Metadata Statistik. Begitu juga pada data automatic question, penambahan data human question saat fine-tuning ternyata tidak dapat meningkatkan performa CDQA-Metadata Statistik.

---

Statistical metadata plays a very important role in society. With statistical metadata, we can find out all the information regarding all statistical activities carried out. In this research we will build a Closed Domain Question Answering system (CDQA) regarding statistical metadata (CDQA-Statistical Metadata). This system was built using the transfer learning method on human question and automatic question data. The use of the transfer learning method is used because large benchmarks regarding statistical metadata do not yet exist. In this research we will use a retriever (BM25)-reader (IndoBERT) architecture based on transfer learning. There were three main experiments we conducted. The results of our first experiment show that in human question data the two-stage fine-tuning (human) model, which is a model using the transfer learning method, is statistically very significantly superior to the non-transfer learning model with an increase in exact match of 53 times and f1-score of 9 times. Then in the automatic question data, the two-stage fine-tuning (automatic) model, which is a model using the transfer learning method, statistically significantly outperforms the non-transfer learning model with an increase of 80 times for exact match and 13 times for f1-score. The results of our second experiment show that CDQA-Metadata Statistik system based on transfer learning significantly as statistics get better performance in automatic question data than in human question data. This is because automatic question data have more term-of overlap than human question data. Then the results of the third experiment show that for human question data, the addition of the automatic question data during fine-tuning cannot improve the performance of CDQA-Metadata Statistics. Likewise for automatic question data, the addition of a human question data during fine-tuning apparently did not improve the performance of CDQA-Metadata Statistics."

"Tanaman padi (Oryza Sativa) telah menjadi sumber pangan pokok bagi masyarakat Indonesia selama ribuan tahun. Dengan seiring bertambahnya jumlah masyarakat di Indonesia setiap tahunnya, tentunya kebutuhan akan tanaman padi semakin meningkat. Oleh karena itu, perlu adanya pemanfaatan teknologi untuk meningkatkan produksi serta mempertahankan kualitas padi untuk mempertahankan kualitas padi untuk memenu kebutuhan pangan masyarakat Indonesia. Penyakit yang umum menyerang tanaman padi di Indonesia adalah penyakit blas (blast), hawar daun (blight) dan tungro. Dalam penelitian ini, penulis menggunakan transfer learning dengan model DenseNet201 dan ResNet-50 untuk mengklasifikasi penyakit tanaman padi pada citra daun secara akurat. Data yang digunakan dalam penelitian ini diambil dari online database yang berisi 240 citra daun tanaman padi dengan 3 penyakit yang berupa penyakit blas (blast), hawar daun (blight) dan tungro. Selanjutnya, penulis menggunakan teknik preprocessing seperti resizing dan normalization serta berbagai macam teknik augmentasi seperti rotasi, zoom dan lain-lain untuk meningkatkan kinerja model dalam mengklasifikasi penyakit tanaman padi. Hasil penelitian ini menunjukkan bahwa model DenseNet201 memiliki kinerja yang jauh lebih baik dibandingkan dengan model ResNet-50 dalam mengklasifikasi penyakit tanaman padi. Evaluasi dari kinerja model dilihat dari nilai akurasi serta running time dimana model DenseNet201 memiliki akurasi testing sebesar 93,34% dan running time pada tahap training selama 74,7083 detik.

---

Rice (Oryza sativa) has been a staple food source for Indonesian people for thousands of years. With the increasing number of people in Indonesia every year, of course the need for rice plants is increasing. Therefore, it is necessary to use technology to increase production and maintain the quality of rice to maintain the quality of rice to meet the food needs of the Indonesian people. Diseases that commonly attack rice plants in Indonesia are blast, leaf blight and tungro disease. In this study, the authors used transfer learning with DenseNet201 and ResNet-50 models to classify rice plant diseases on leaf images accurately. The data used in this study were taken from an online database containing 240 images of rice leaves with 3 diseases, namely blast, blight and tungro. Furthermore, the authors use preprocessing techniques such as resizing and normalization as well as various kinds of augmentation techniques such as rotation, zoom and others to improve the performance of the model in classifying rice plant diseases. The results of this study indicate that the DenseNet201 model has a much better performance than the ResNet-50 model in classifying rice plant diseases. Evaluation of the model's performance is seen from the accuracy value and running time where the DenseNet201 model has a testing accuracy of 93.34% and the running time at the training stage is 74.7083 seconds."

"Deep learning telah digunakan dalam berbagai masalah klasifikasi gambar dan deteksi objek. Dalam proses pelatihan pada Deep Learning membutuhkan data berlabel yang tidak sedikit dan akibatnya memakan waktu yang lama. Untuk mengatasi hal tersebut, metode transfer learning diperkenalkan dengan mengambil hasil pelatihan dari data sebelumnya dengan dataset yang umum, seperti ImageNet. VIT-B/16 merupakan model network yang menerapkan konsep transformer pada gambar. Model ini memiliki kinerja yang sangat baik saat dilatih menggunakan dataset ImageNet tetapi tidak terlalu baik saat dilatih menggunakan dataset Describable Textures Dataset dan Flowers-102. Penelitian ini bertujuan untuk melihat apakah metode transfer learning bisa digunakan sehingga model Vision Transformer mempunyai kinerja lebih baik saat dilatih menggunakan kedua dataset tersebut. Pada penelitian ini dilakukan transfer learning pada DTD dan dataset flowers-102 dengan menggunakan model yang sudah di pre-trained dengan ImageNet- 21K. Dari Hasil penelitian didapat bahwa model ViT mengenali dengan cukup baik pada DTD dengan akurasi pada testing hanya mencapai76,67% dengan optimizer Adam dan dataset Flowers-102 dengan akurasi pada testing mencapai 98,91% dengan optimizer Adadelta. Model ViT ini selanjutnya dibandingkan dengan model CNN ResNet50 dan didapat bahwa hasil akurasi sedikit di bawah ResNet50.

---

Deep learning has been used in various image classification and object detection problems. The training process in Deep Learning requires quite a lot of labeled data and as a result takes a long time. To overcome this, a transfer learning method was introduced by taking training results from previous data with a common dataset, such as ImageNet. VIT-B/16 is a network model that applies the transformer concept to images. This model performs very well when trained using the ImageNet dataset but not so well when trained using the Describable Textures Dataset and Flowers-102 datasets. This research aims to see whether the transfer learning method can be used so that the Vision Transformer model has better performance when trained using both datasets. In this research, transfer learning was carried out on the DTD and Flowers-102 dataset using a model that was pre-trained with ImageNet-21K. From the research results, it was found that the ViT model recognized the DTD quite well with accuracy in testing only reaching 76.67% with the Adam optimizer and the Flowers-102 dataset with accuracy in testing reaching 98.91% with the Adadelta optimizer. This ViT model was then compared with the ResNet50 CNN model and it was found that the accuracy results were slightly below that of ResNet50."

"Sebagian besar studi terbaru dalam abstractive summarization melakukan pendekatan dengan melakukan fine-tuning pretrained language generation model (PLGM). PLGM yang digunakan biasanya merupakan versi monolingual, yang hanya memiliki informasi bahasa yang sesuai dengan dataset yang digunakan. Penelitian ini menggunakan PLGM berbasis multilingual, yang menghasilkan kinerja yang cukup kompetitif jika dibandingkan dengan solusi state-of-the-art yang ada. Dengan menggunakan PLGM berbasis multilingual manfaat yang dihasilkan akan berdampak lebih luas sebanyak informasi bahasa yang dimiliki oleh PLGM terkait. Teknik CTRLSum, yaitu penambahan keyphrase di awal source document, terbukti dapat membuat PLGM menghasilkan summary sesuai dengan keyphrase yang disertakan. Penelitian ini menggunakan teknik mCTRLSum, yaitu teknik CTRLSum dengan menggunakan multilingual PLGM. Untuk mendapatkan keyphrase, selain dengan menggunakan teknik keyphrase extraction (KPE) yang memilih kata yang ada di source document, juga digunakan teknik keyphrase generation (KPG) yaitu teknik pembangkitan suatu set kata/frasa berdasarkan suatu source document dataset berbahasa Inggris, tidak hanya dilatih menggunakan oracle keyphrase sebagai pseudo-target dari dataset summarization, model KPG juga dilatih menggunakan dataset khusus permasalahan KPG dengan domain dan bahasa yang sama. Dengan teknik mCTRLSum yang memanfaatkan oracle keyphrase,  penelitian ini mendeklarasikan batas atas solusi permasalahan abstractive summarization pada dataset Liputan6, dan XLSum berbahasa Inggris, Indonesia, Spanyol, dan Perancis dengan peningkatan terbesar pada dataset Liputan6 sebanyak 22.54 skor ROUGE-1, 18.36 skor ROUGE-2, 15.81 skor ROUGE-L, dan 7.16 skor BERTScore, dan rata-rata 9.36 skor ROUGE-1, 6.47 skor ROUGE-2, 6.68 skor ROUGE-L dan 3.14 BERTScore pada dataset XLSum yang digunakan pada penelitian ini.

---

Most of the recent studies in abstractive summarization approach by fine-tuning the pre-trained language generation model (PLGM). PLGM used is usually a monolingual version, which only has language information that corresponds to the dataset used. This study uses amultilingual-basedd PLGM, which results in quite competitive performance, compared to existing state-of-the-art solutions. Using a PLGM based on the multilingual benefits generated, it will have a wider impact as much as the language information base owned by the related PLGM. The CTRLSum technique, which is the addition of a keyphrase at the beginning of the source document, is proven to be able to make PLGM produce a summary according to the included keyphrase. This study uses the mCTRLsum technique, namely the CTRLsum technique using multilingual PLGM. To get thekey phrasee, in addition to using the keyphrase extraction (KPE) technique, the words in the source document, keyphrase generation (KPG) techniques are also used, namely the technique of generating a set of words/phrases based on a source document. On the English dataset, not only using the oracle keyphrase as the pseudo-target of the dataset summariza buttion, the KPG model also uses the dataset specifically for KPG problems with the same domain and language. With the mCTRLsum technique that utilizes the oracle keyphrase, this study declares the upper bound of the solution to the abstractive summarization problem in the Liputan6 and XLSum in English, Indonesian, Spanish, and French datasets with the highest increase in Liputan6 dataset of 22.54 ROUGE-1 score, 18.36 ROUGE-2 score, 15.81 ROUGE-L score, and 7.16 BERTScore, and in average of 9.36 ROUGE-1 score, 6.47 ROUGE-2 score, 6.68 ROUGE-L score, and 3.14 BERTScore on XLSum dataset used in this research."