Hasil Pencarian  ::  Simpan CSV :: Kembali

Hasil Pencarian

Ditemukan 149903 dokumen yang sesuai dengan query
cover
Muhammad Fauzul Akbar
"Large Language Model (LLM) generatif merupakan jenis model machine learning yang dapat diaplikasikan dalam industri jurnalisme, khususnya dalam proses pembuatan dan validasi berita. Namun, LLM memerlukan sumber daya yang besar untuk operasionalnya serta membutuhkan waktu proses inferensi yang relatif lama. Penelitian ini bertujuan untuk mengembangkan layanan web machine learning yang memanfaatkan LLM generatif untuk proses pembuatan dan validasi berita. Tujuan lainnya adalah menciptakan sistem dengan mekanisme manajemen beban yang efisien untuk meminimalkan waktu inferensi. Pengembangan melibatkan beberapa tahap, yakni analisis kebutuhan stakeholder, perancangan desain dan arsitektur, implementasi, serta evaluasi. Dalam implementasi layanan web machine learning, pengembangan ini berfokus pada manajemen GPU untuk meningkatkan kecepatan proses inferensi LLM. Selain itu, dilakukan implementasi design pattern untuk meningkatkan skalabilitas dalam penambahan model machine learning. Untuk manajemen beban, dikembangkan dua mekanisme, yaitu load balancer dan scheduler. Implementasi load balancer memanfaatkan NGINX dengan metode round-robin. Sedangkan untuk scheduler, digunakan RabbitMQ sebagai antrean, dengan publisher menerima permintaan dan subscriber mendistribusikan permintaan ke layanan yang tersedia. Berdasarkan API Test, layanan ini berhasil melewati uji fungsionalitas dengan waktu respons API sekitar 1-2 menit per permintaan. Evaluasi performa pada kedua mekanisme manajemen beban menunjukkan tingkat keberhasilan 100%, dengan waktu respon rata-rata meningkat seiring dengan peningkatan jumlah request per detik. Pengelolaan beban dengan load balancer menghasilkan waktu respon yang lebih cepat, sementara pengelolaan beban dengan scheduler menghasilkan mekanisme yang lebih efektif pada proses koneksi asinkron.

Generative Large Language Model (LLM) is a type of machine learning model that can be applied in the journalism industry, especially in the process of news generation and validation. However, LLM requires large resources for its operation and requires a relatively long inference process time. This research aims to develop a machine learning web service that utilizes generative LLM for news generation and validation. Another goal is to create a system with an efficient load management mechanism to minimize inference time. The development involves several stages, namely stakeholder needs analysis, design and architecture, implementation, and evaluation. In the implementation of machine learning web services, this development focuses on GPU management to increase the speed of the LLM inference process. In addition, the implementation of design patterns is done to improve scalability in adding machine learning models. For load management, two mechanisms are developed: load balancer and scheduler. The load balancer implementation utilizes NGINX with the round-robin method. As for the scheduler, RabbitMQ is used as a queue, with the publisher receiving requests and the subscriber distributing requests to available services. Based on the API Test, the service successfully passed the functionality test with an API response time of about 1-2 minutes per request. Performance evaluation on both load management mechanisms showed a 100% success rate, with the average response time increasing as the number of requests per second increased. The use of a load balancer results in faster response times, while load management with a scheduler results in a more effective mechanism for asynchronous connection processes. "
Depok: Fakultas Ilmu Komputer Universitas Indonesia , 2024
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Sulthan Afif Althaf
"Large Language Model (LLM) generatif merupakan jenis model machine learning yang dapat diaplikasikan dalam industri jurnalisme, khususnya dalam proses pembuatan dan validasi berita. Namun, LLM memerlukan sumber daya yang besar untuk operasionalnya serta membutuhkan waktu proses inferensi yang relatif lama. Penelitian ini bertujuan untuk mengembangkan layanan web machine learning yang memanfaatkan LLM generatif untuk proses pembuatan dan validasi berita. Tujuan lainnya adalah menciptakan sistem dengan mekanisme manajemen beban yang efisien untuk meminimalkan waktu inferensi. Pengembangan melibatkan beberapa tahap, yakni analisis kebutuhan stakeholder, perancangan desain dan arsitektur, implementasi, serta evaluasi. Dalam implementasi layanan web machine learning, pengembangan ini berfokus pada manajemen GPU untuk meningkatkan kecepatan proses inferensi LLM. Selain itu, dilakukan implementasi design pattern untuk meningkatkan skalabilitas dalam penambahan model machine learning. Untuk manajemen beban, dikembangkan dua mekanisme, yaitu load balancer dan scheduler. Implementasi load balancer memanfaatkan NGINX dengan metode round-robin. Sedangkan untuk scheduler, digunakan RabbitMQ sebagai antrean, dengan publisher menerima permintaan dan subscriber mendistribusikan permintaan ke layanan yang tersedia. Berdasarkan API Test, layanan ini berhasil melewati uji fungsionalitas dengan waktu respons API sekitar 1-2 menit per permintaan. Evaluasi performa pada kedua mekanisme manajemen beban menunjukkan tingkat keberhasilan 100%, dengan waktu respon rata-rata meningkat seiring dengan peningkatan jumlah request per detik. Pengelolaan beban dengan load balancer menghasilkan waktu respon yang lebih cepat, sementara pengelolaan beban dengan scheduler menghasilkan mekanisme yang lebih efektif pada proses koneksi asinkron.

Generative Large Language Model (LLM) is a type of machine learning model that can be applied in the journalism industry, especially in the process of news generation and validation. However, LLM requires large resources for its operation and requires a relatively long inference process time. This research aims to develop a machine learning web service that utilizes generative LLM for news generation and validation. Another goal is to create a system with an efficient load management mechanism to minimize inference time. The development involves several stages, namely stakeholder needs analysis, design and architecture, implementation, and evaluation. In the implementation of machine learning web services, this development focuses on GPU management to increase the speed of the LLM inference process. In addition, the implementation of design patterns is done to improve scalability in adding machine learning models. For load management, two mechanisms are developed: load balancer and scheduler. The load balancer implementation utilizes NGINX with the round-robin method. As for the scheduler, RabbitMQ is used as a queue, with the publisher receiving requests and the subscriber distributing requests to available services. Based on the API Test, the service successfully passed the functionality test with an API response time of about 1-2 minutes per request. Performance evaluation on both load management mechanisms showed a 100% success rate, with the average response time increasing as the number of requests per second increased. The use of a load balancer results in faster response times, while load management with a scheduler results in a more effective mechanism for asynchronous connection processes."
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2024
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Nagisa Eremia Anju
"Tenaga kerja kesehatan pada masa pandemi bekerja sebagai garda terdepan yang memiliki resiko tertinggi tertular virus corona. Sampai pada hari ini, perawatan dan pemeriksaan kondisi vital pasien COVID-19 masih banyak dilakukan dengan kontak langsung minimal sebanyak empat kali dalam sehari. Hal ini berisiko meningkatkan penyebaran virus hingga menurunkan jumlah tenaga kerja kesehatan. Sampai pada saat ini, hampir seluruh rumah sakit masih menggunakan sphygmomanometer tradisional dengan cuff yang membutuhkan bantuan tenaga medis ataupun tanpa bantuan, namun pengukuran dilakukan secara invasif. Oleh karena itu, dibutuhkan suatu alat yang dapat memonitor kondisi vital pasien tanpa kontak langsung terutama dalam mengukur tekanan darah dan bersifat noninvasif. Penelitian ini bertujuan untuk membuat suatu algoritma pengolahan sinyal plethysmography berbasis ekstraksi fitur dan machine learning untuk prediksi tekanan darah. Dengan menggunakan sensor MAX30102 dan ESP32, sinyal PPG yang didapat dari jari akan dilakukan pre-processing dengan menenerapkan baseline fitting, kemudian deteksi puncak, hingga empat fitur utama sinyal PPG, yaitu systolic peak, diastolic peak, dicrotic notch, dan foot dapat diekstrak. Data ekstraksi fitur sinyal PPG secara ­real-time ini digabungkan menjadi satu dataset dan dimasukkan ke dalam machine learning untuk diprediksi nilai tekanan darahnya. Evaluasi hasil prediksi tekanan darah menunjukkan nilai Mean Absolute Error yang kecil, yaitu 1,56/2,35 yang masih diterima oleh standar ISO 81060-2:2013 sehingga dapat dijadikan fundamental untuk sistem pengukuran tekanan darah noninvasif.

Health workers during the pandemic act as the frontliner who have the highest risk of contracting the coronavirus. Most of the treatment and examination of the vital condition of COVID-19 patients is carried out with direct contact at least four times a day. This increases the risk of virus spreading, moreover reducing the number of health workers. To date, almost all hospitals still require medical assistance to measure blood pressure using the traditional cuff sphygmomanometer or without assistance however, the measurements are carried out invasively. Therefore, a device that can monitor the patient's vital condition without direct contact, especially in measuring blood pressure and non-invasive is needed. This thesis aims to develop a plethysmography signal processing algorithm based on feature extraction and machine learning for blood pressure prediction. By using the MAX30102 and ESP32 sensors, the PPG signal obtained from the finger will be preprocessed by applying a baseline fitting and peak detection, thus the four main features of the PPG signal, namely systolic peak, diastolic peak, dicrotic notch, and foot can be extracted. This real-time PPG signal feature extraction data is then combined into a single dataset and by using machine learning, blood pressure values are predicted. Evaluation of the blood pressure predictions shows a small Mean Absolute Error value, 1.56/2.35 which meets the ISO 81060-2:2013 standard. Hence, the results demonstrate the applicability of the proposed algorithm in predicting blood pressure and can be developed as a noninvasive real-time blood pressure measurement system in the future.
"
Depok: Fakultas Teknik Universitas Indonesia, 2022
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Rebala, Gopinath
"Just like electricity, Machine Learning will revolutionize our life in many ways-some of which are not even conceivable today. This book provides a thorough conceptual understanding of Machine Learning techniques and algorithms. Many of the mathematical concepts are explained in an intuitive manner. The book starts with an overview of machine learning and the underlying Mathematical and Statistical concepts before moving onto machine learning topics. It gradually builds up the depth, covering many of the present day machine learning algorithms, ending in Deep Learning and Reinforcement Learning algorithms. The book also covers some of the popular Machine Learning applications. The material in this book is agnostic to any specific programming language or hardware so that readers can try these concepts on whichever platforms they are already familiar with."
Switzerland: Springer Nature, 2019
e20506268
eBooks  Universitas Indonesia Library
cover
Helmi Qosim
"ABSTRAK
Synthesis loop merupakan salah satu sistem kritis di pabrik amoniak. Oleh karena itu, ada urgensi untuk menjaga reliability dan availability pada sistem ini. Sebagian besar peristiwa shutdown di pabrik amoniak terjadi tiba-tiba setelah alarm tercapai. Jadi, perlu ada sistem deteksi dini untuk memastikan masalah anomali ditangkap oleh operator sebelum menyentuh set point alarm. Implementasi algoritma machine learning dalam membuat model deteksi potensi kegagalan telah digunakan di berbagai industri dan objek sebagai penelitian. Algoritma yang digunakan adalah classifier dasar dan ensemble untuk membandingkan algoritma mana yang menghasilkan hasil klasifikasi terbaik. Penelitian ini dapat memberikan ide dan perspektif baru ke dalam industri pabrik amoniak untuk mencegah terjadinya shutdown yang tidak terjadwal dengan memanfaatkan data menggunakan algoritma machine learning.

ABSTRACT
Synthesis loop is one of the critical systems in ammonia plant. Therefore, there is urgency for maintaining the reliability and availability of this system. Most of the shutdown events occur suddenly after the alarm is reached. So, there needs to be an early detection system to ensure anomaly problem captured by the operator before
touching the alarm settings. The implementation of machine learning algorithms in making fault detection models has been used in various industries and objects. The algorithm used is the basic and ensemble classifier to compare which algorithms generate the best classification results. This research can provide a new idea and perspective into ammonia plant industry to prevent unscheduled shutdown by utilizing
data using machine learning algorithm."
Depok: Fakultas Teknik Universitas Indonesia , 2020
T-Pdf
UI - Tesis Membership  Universitas Indonesia Library
cover
Jonathan Aurelius Faren
"Jakarta sebagai kota besar yang memiliki tingkat kepadatan yang tinggi pada saat jam-jam dan hari-hari kerja memiliki peraturan guna mengurangi kemacetan di jalan. Salah satu peraturannya adalah pemberlakukan plat nomor kendaraan ganjil genap sesuai dengan tanggal. Peraturan ini cukup efektif dalam mengurangi tingkat kemacetan di jalan-jalan protokol. Namun masih saja ada oknum-oknum yang melanggar peraturan ini dikarenakan kemampuan manusia yang terbatas sehingga tidak dapat selalu mengawasi plat nomor kendaraan secara maksimal. Dengan berkembangnya teknologi terutama di bidang computer vision masalah ini dapat dikurangi. Dengan menggunakan bantuan machine learning yaitu computer vision menggabungkan alat fisik yaitu kamera dengan komputer sehingga dapat mendeteksi dan membaca plat nomor pada kendaraan. Perkembangan teknologi membuat machine learning semakin berkembang sehingga proses melakukan deteksi dapat dilakukan dengan lebih cepat dan akurat. Untuk melakukan hal ini algoritma YOLOv7 dilatih untuk melakukan deteksi pada plat nomor kendaraan serta membacanya sehingga dapat diklasifikasian termasuk ganjil / genap sesuai dengan tanggal pendeteksian. Pada penelitian ini dilakukan pembangunan prototype sistem pendeteksi dan klasifikasi ini menggunakan machine learning dan computer vision untuk melakukan deteksi plat nomor pada kendaraan yang lewat di jalan-jalan protokol. Hasil dari penelitan ini adalah dengan menggunakan algoritma YOLOv7, model yang dihasilkan memiliki akurasi sebesar 86%, melakukan pembacaan plat nomor hasil deteksi dengan EeasyOCR memiliki tingkat kesalahan pembacaan per karakter 3.81% dan kesalahan pembacaan per kata sebesar 11.90%, sistem dapat melakukan deteksi dan pembacaan plat nomor secara real time dengan baik, melakukan identifikasi pada jenis tanggal (ganjil  genap) dan memberikan alert ketika ada plat nomor yang tidak sesuai ketentuan tanggal.

Jakarta as the big city and the capital of Indonesia that have high density rate in the work hours and days have a special rule to decrease the congestion rate in the road. One of the rules is the enforcement of odd even license plate rules that connect to the real time date. This rule is effective in decreasing the congestion rate in the major arterial roads. but there's still a loophole that makes people violate this rule, the human limited ability makes them can't always observe all the license plate. With the help of technology development in computer vision, can help to reduce the problem. Computer vision combines the video camera and computer to work side by side so it can read and detect the license plate number. Technology development also develops the computer vision ability so detection and recognition can be done with more accuracy and less time. To do this thing YOLOv7 algorithm trains a model to detect the license plate in a car and read the license plate so it can classify the license plate type (odd/even) and compare it with the research date type. This research build the prototype of detection and classifier system with machine learning and computer vision, to do the automatic odd /even license plate detection and recognition at the car in artery road. As the result of the research , the detection model made by YOLOv7 algorithm have a 86 % accuracy, and the character recognition with EasyOCR have a character error rate 3.81 %  and word error rate 11.90 % , the system prototype can run the detection and OCR in real time, the prototype can get the real time date and classified it as odd or even number, and give an alert when the detected license plate number violated the odd even rule.
"
Depok: Fakultas Teknik Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Jauzak Hussaini Windiatmaja
"Sumber informasi di jejaring berita daring adalah instrumen yang memungkinkan individu membaca berita, menerbitkan berita, dan berkomunikasi. Hal ini sudah menjadi tren dalam masyarakat yang sangat mobile. Oleh karena itu, proses verifikasi fakta suatu pemberitaan menjadi sangat penting. Dengan pertimbangan tersebut, sebuah tools berbasis web service untuk verifikasi fakta menggunakan metode deep learning dengan teknik ensemble dibangun. Penggunaan teknik ensemble pada model deep learning adalah proses beberapa model pembelajaran mesin digabungkan secara strategis untuk menyelesaikan masalah menggunakan lebih dari satu model. Untuk melatih model, dibangun sebuah dataset. Dataset berisi pasangan klaim dan label. Klaim dibangun dengan data crawling di kanal berita berbahasa Indonesia. Tiga model deep learning dibangun dan dilatih menggunakan dataset yang dibuat, dengan arsitektur jaringan dan hyperparameter yang berbeda. Setelah model dilatih menggunakan dataset, ketiga model diagregasikan untuk membentuk sebuah model baru. Untuk memastikan bahwa model agregat berfungsi lebih baik daripada model tunggal, performa model deep learning ensemble dibandingkan dengan model deep learning dasar. Hasil penelitian menunjukkan bahwa model ensemble memiliki akurasi 85,18% sedangkan model tunggal memiliki akurasi 83,9%, 83,19%, dan 81,94%. Hasil ini menunjukkan bahwa model ensemble yang dibangun meningkatkan kinerja verifikasi fakta dari tiga model tunggal. Hasil penelitian juga menunjukkan bahwa metode deep learning mengungguli performa metode machine learning lain seperti naive bayes dan random forest. Untuk memvalidasi kinerja tools yang dibangun, response time dari web service diukur. Hasil pengukuran menunjukkan rata-rata response time 6.447,9 milidetik.

Information sources on social networks are instruments that allow individuals to read news, publish news, and communicate. This is a trend in a highly mobile society. Therefore, the process of verifying facts is very important. With these considerations, we built a web service-based tool for fact verification using deep learning methods with ensemble technique. The use of ensemble techniques in deep learning models is a process in which several machine learning models are combined to solve problems. To train the model, we created a dataset. Our dataset of Indonesian news contains pairs of claims along with labels. Claims are built by crawling data on Indonesian news channels. Three deep learning models have been built and trained using the previously created dataset with different network architectures and hyperparameters. After the model is trained, three models are aggregated to form a new model. To ensure that the aggregated model performs better than the single model, the deep learning ensemble model is compared to the single models. The results showed that the ensemble model has an accuracy of 85.18% while the single models have an accuracy of 83.9%, 83.19%, and 81.94% consecutively. These results indicate that the ensemble model built improves the fact-verification performance of the three single models. The results also show that by using the same dataset, deep learning methods outperform other machine learning methods such as naive bayes and random forest. To validate the performance of the tools we created, the response time of the web service is measured. The measurement result shows an average response time of 6447.9 milliseconds."
Depok: Fakultas Teknik Universitas Indonesia, 2021
T-Pdf
UI - Tesis Membership  Universitas Indonesia Library
cover
Yovan Yudhistira Widyananto
"Keamanan privasi data dan informasi dalam internet sering menjadi topik pembahasan dari waktu ke waktu, hal ini dikarenakan metode penyerangan siber selalu berevolusi menyesuaikan dengan struktur keamanan yang ada, menjadikan bidang keamanan siber menjadi bagaikan kompetisi untuk selalu lebih dahulu dari lawannya. Salah satu contoh implementasi keamanan siber merupakan Intrusion Detection System, dikenal juga dengan IDS. IDS dapat membantu menjaga sebuah jaringan dengan mendeteksi jika ada tanda-tanda penyerangan, namun dengan ini saja tidak cukup untuk memaksimalkan keamanan sebuah jaringan. Dari dasar IDS ini, sebuah proyek mencoba mengembangkan konsepnya dan membuat struktur besar, dan berhasil diciptakan proyek Mata Elang. Struktur Mata Elang dapat menjadi perantara antara internet dengan jaringan yang dilindunginya, dan ketika terjadi serangan, aktivitas tersebut akan dideteksi, ditahan, dan diproses oleh Mata Elang. Sistem deteksi Mata Elang bergantung kepada framework Snort. Sayangnya, Snort tidak memiliki kemampuan untuk beradaptasi di luar dari konfigurasi yang telah diberikan kepadanya. Dalam penelitian ini, penulis akan mengimplementasikan Machine Learning untuk meningkatkan keamanan yang diberikan pada proyek Mata Elang, spesifiknya pada sensornya yang menggunakan Snort. Setelah segala proses perancangan, pembuatan, dan pengujian telah dilakukan, hasil akhir yang didapatkan dari sistem Machine Learning merupakan sistem prediksi yang memuaskan untuk memprediksi kategori serangan bahkan dengan dukungan data yang lemah, namun kemampuan dari aturan Snort yang dihasilkan masih belum diuji dengan matang.

The talk about the security of private data and information will continue to be a relevant topic because of the nature of the concept. Cyberattacks have always been adapting according to the technology and structure that exists at the time, and so cybersecurity will continue to be a competition for gaining the advantage against their contrarian. One of the prime examples in cybersecurity implementation is Intrustion Detection Systems, also known as the shortened term, IDS. IDS can help guard a network by detecting different kinds of anomalies or attacks, although this alone wouldn’t be enough to maximize the level of proper security necessary for a whole network. Under the basic concept of IDS, a project attempts to develop an IDS and create a larger structure. The project was successfully implemented and now titled as Mata Elang. Mata Elang’s structure is an intermediary between an internet connection and the network it is connected to, and when an attack happens, those activities will be detected, interrupted, and then processed by Mata Elang. Mata Elang’s detection system completely relies on the framework Snort. Unfortunately, Snort does not have the capabilities to adapt outside the configurations that has been given to it. In this research, the writer will implement Machine Learning to further increase the security provided by Mata Elang, specifically on the sensors that uses Snort. After every step of the planning, making, and testing has been done the final result of the product was a Machine Learning system that has a satisfactory performance in categorizing the attacks, even with a weak supporting data, however the performance of the snort rules generated by it has not been tested thoroughly.
"
Depok: Fakultas Teknik Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Hakim Amarullah
"Proses training model membutuhkan sumber daya komputasi yang akan terus meningkat seiring dengan bertambahnya jumlah data dan jumlah iterasi yang telah dicapai. Hal ini dapat menimbulkan masalah ketika proses training model dilakukan pada lingkungan komputasi yang berbagi sumber daya seperti pada infrastruktur komputasi berbasis klaster. Masalah yang ditimbulkan terutama terkait dengan efisiensi, konkurensi, dan tingkat utilisasi sumber daya komputasi. Persoalan efisiensi muncul ketika sumber daya komputasi telah tersedia, tetapi belum mencukupi untuk kebutuhan job pada antrian ter- atas. Akibatnya sumber daya komputasi tersebut menganggur. Penggunaan sumber daya tersebut menjadi tidak efisien karena terdapat kemungkinan sumber daya tersebut cukup untuk mengeksekusi job lain pada antrian. Selain itu, pada cluster computing juga mem- butuhkan sistem monitoring untuk mengawasi dan menganalisis penggunaan sumber daya pada klaster. Penelitian ini bertujuan untuk menemukan resource manager yang sesuai untuk digunakan pada klaster komputasi yang memiliki GPU agar dapat meningkatkan efisiensi, implementasi sistem monitoring yang dapat membantu analisis penggunaan sumber daya sekaligus monitoring proses komputasi yang sedang dijalankan pada klaster, dan melayani inference untuk model machine learning. Penelitian dilakukan dengan cara menjalankan eksperimen penggunaan Slurm dan Kubernetes. Hasil yang diperoleh adalah Slurm dapat memenuhi kebutuhan untuk job scheduling dan mengatur penggunaan GPU dan resources lainnya pada klaster dapat digunakan oleh banyak pengguna sekaligus. Sedangkan untuk sistem monitoring, sistem yang dipilih adalah Prometheus, Grafana, dan Open OnDemand. Sementara itu, sistem yang digunakan untuk inference model adalah Flask dan Docker.

The amount of computational power needed for the model training process will keep rising along with the volume of data and the number of successful iterations. When the model training process is conducted in computing environments that share resources, such as on cluster-based computing infrastructure, this might lead to issues. Efficiency, competition, and the level of resource use are the three key issues discussed.Efficiency problems occur when there are already computing resources available, yet they are insufficient to meet the demands of high-level workloads. The power of the machine is subsequently wasted. The utilization of such resources becomes inefficient because it’s possible that they would be adequate to complete other tasks on the front lines. A monitoring system is also necessary for cluster computing in order to track and assess how resources are used on clusters. The project seeks to set up a monitoring system that can assist in analyzing the usage of resources while monitoring the com- puting processes running on the cluster and locate a suitable resource manager to be utilized on a computing cluster that has a GPU in order to increase efficiency, also serve inference model in production. Slurm and Kubernetes experiments were used to conduct the investigation. The findings show that Slurm can handle the demands of job scheduling, manage the utilization of GPUs, and allow for concurrent use of other cluster resources. Prometheus, Grafana, and Open OnDemand are the chosen moni- toring systems. Else, inference model is using Flask and Docker as its system constructor.
"
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
cover
Muhammad Anis Abdul Aziz
"Proses training model membutuhkan sumber daya komputasi yang akan terus meningkat seiring dengan bertambahnya jumlah data dan jumlah iterasi yang telah dicapai. Hal ini dapat menimbulkan masalah ketika proses training model dilakukan pada lingkungan komputasi yang berbagi sumber daya seperti pada infrastruktur komputasi berbasis klaster. Masalah yang ditimbulkan terutama terkait dengan efisiensi, konkurensi, dan tingkat utilisasi sumber daya komputasi. Persoalan efisiensi muncul ketika sumber daya komputasi telah tersedia, tetapi belum mencukupi untuk kebutuhan job pada antrian ter- atas. Akibatnya sumber daya komputasi tersebut menganggur. Penggunaan sumber daya tersebut menjadi tidak efisien karena terdapat kemungkinan sumber daya tersebut cukup untuk mengeksekusi job lain pada antrian. Selain itu, pada cluster computing juga mem- butuhkan sistem monitoring untuk mengawasi dan menganalisis penggunaan sumber daya pada klaster. Penelitian ini bertujuan untuk menemukan resource manager yang sesuai untuk digunakan pada klaster komputasi yang memiliki GPU agar dapat meningkatkan efisiensi, implementasi sistem monitoring yang dapat membantu analisis penggunaan sumber daya sekaligus monitoring proses komputasi yang sedang dijalankan pada klaster, dan melayani inference untuk model machine learning. Penelitian dilakukan dengan cara menjalankan eksperimen penggunaan Slurm dan Kubernetes. Hasil yang diperoleh adalah Slurm dapat memenuhi kebutuhan untuk job scheduling dan mengatur penggunaan GPU dan resources lainnya pada klaster dapat digunakan oleh banyak pengguna sekaligus. Sedangkan untuk sistem monitoring, sistem yang dipilih adalah Prometheus, Grafana, dan Open OnDemand. Sementara itu, sistem yang digunakan untuk inference model adalah Flask dan Docker.

The amount of computational power needed for the model training process will keep rising along with the volume of data and the number of successful iterations. When the model training process is conducted in computing environments that share resources, such as on cluster-based computing infrastructure, this might lead to issues. Efficiency, competition, and the level of resource use are the three key issues discussed.Efficiency problems occur when there are already computing resources available, yet they are insufficient to meet the demands of high-level workloads. The power of the machine is subsequently wasted. The utilization of such resources becomes inefficient because it’s possible that they would be adequate to complete other tasks on the front lines. A monitoring system is also necessary for cluster computing in order to track and assess how resources are used on clusters. The project seeks to set up a monitoring system that can assist in analyzing the usage of resources while monitoring the com- puting processes running on the cluster and locate a suitable resource manager to be utilized on a computing cluster that has a GPU in order to increase efficiency, also serve inference model in production. Slurm and Kubernetes experiments were used to conduct the investigation. The findings show that Slurm can handle the demands of job scheduling, manage the utilization of GPUs, and allow for concurrent use of other cluster resources. Prometheus, Grafana, and Open OnDemand are the chosen moni- toring systems. Else, inference model is using Flask and Docker as its system constructor.
"
Depok: Fakultas Ilmu Komputer Universitas Indonesia, 2023
S-pdf
UI - Skripsi Membership  Universitas Indonesia Library
<<   1 2 3 4 5 6 7 8 9 10   >>