AI Summary & Key Takeaways
AI InsightThe best performance was obtained on the “sus0” data set with 80% to 20% hold-out method (accuracy = 0.698, F-measure = 0.796 for k = 20).
📌 3 Key Takeaways
Abstract
System usability is one of the key elements that should be focused on, especially during the design and test phases of a system, because it provides feedback to system administrators in order to improve the system. In the literature, System Usability Scale (SUS) is widely used as the gold standard method to evaluate system usability. Today, machine learning, which is one of the subfields of artificial intelligence, also provide new perspectives on the evaluation of system usability. In this study, it is aimed to predict usability of a Student Information System (SIS) by using machine learning techniques. In the study method, the Cross-Industry Standard Process for Data Mining (CRISP-DM) steps have been followed. Analysis are performed on two different dataset namely “sus1” and “sus0”. “sus1” dataset is consisted of demographic characteristics (age, gender, department) of 324 students using a SIS of a foundation university in Turkey, also their responses to the Turkish version of the SUS. “sus0” includes only responses to the Turkish version of the SUS. C4.5 Decision Tree Algorithm, Naive Bayes Classifier and k-Nearest Neighbor Algorithm are used to create models and their performance are evaluated. The best performance was obtained on the “sus0” data set with 80% to 20% hold-out method (accuracy = 0.698, F-measure = 0.796 for k = 20).
Özet
Sistem kullanılabilirliği, bir sistemin özellikle tasarım ve test aşamalarında odaklanılması gereken unsurlardan biridir, çünkü sistemin daha iyi hale getirilmesi için sistem yöneticilerine geri bildirim sağlamaktadır. Literatürde, sistem kullanılabilirliğinin değerlendirilmesi için Sistem Kullanılabilirlik Ölçeği (System Usability Scale-SUS) altın standart yöntem olarak yaygın şekilde kullanılmaktadır. Bunun yanı sıra günümüzde yapay zekânın alt çalışma alanlarından biri olan makine öğrenmesi de sistem kullanılabilirliğinin değerlendirilmesi konusunda araştırmacılara yeni ufuklar sağlamaktadır. Bu çalışmada, bir Öğrenci Bilgi Sisteminin (ÖBS) kullanılabilirliğinin makine öğrenmesi teknikleriyle tahmin edilmesi hedeflenmiştir. Çalışma yönteminde; Veri Madenciliği için Çapraz Endüstri Standard Süreç Modeli (CRoss-Industry Standard Process for Data Mining–CRISP-DM) kullanılmıştır. Analizler; Türkiye’deki bir vakıf üniversitesine ait bir ÖBS’yi kullanan 324 öğrencinin SUS’un Türkçe versiyonuna (SUS-TR) verdiği yanıtların bulunduğu “sus1” adlı veri seti ile “sus1” veri setine öğrencilerin yaş, cinsiyet, öğrenim gördüğü bölüm eklenerek oluşturulan “sus0” adlı veri setleri üzerinde gerçekleştirilmiştir. C4.5 Karar Ağacı Algoritması, Naive Bayes Sınıflandırıcı ve k-En Yakın Komşu Algoritması ile farklı modeller kurularak performans değerlendirmesi yapılmıştır. %80’e %20’lik Hold-out ayrımıyla gerçekleştirilen analizlerde en iyi performans, k-En Yakın Komşu Algoritmasıyla “sus0” veri seti üzerinde elde edilmiştir (k=20 için doğruluk = 0.698, F-ölçütü = 0.796).