AI Summary & Key Takeaways
AI InsightThe results showed that in each dataset, all classification performances were above 80%.
📌 3 Key Takeaways
Abstract
Digitalization in education has fostered higher education institutes to use Learning Management Systems (LMS). Students are unintentionally generating large volumes of data known as logs while using LMSs, which can be utilized to build artificial intelligence models to predict educational variables. Unlike the ordinary web server logs, LMS log reports include information on students’ specific interactions with the learning content/material, allowing variables to be created based on their interactions with the course. Five classification algorithms (KNN, Nave Bayes, SVM, CART, and C5.0) were used on the dataset created from the Moodle LMS log reports within a 10-week “Basic Computer Applications” course in which 93 undergraduate students registered. The log records for each student were transformed into a set of attributes that included the number of logins, material downloads, assignment attempts, uploaded assignments, messages sent to instructor, course page views, total time spent on the course page, average session time, total time spent on assignments and exams, and total time spent on video pages. Because the original dataset was imbalanced, over-sampling and SMOTE (Synthetic Minority Over-Sampling Technique) techniques were used to create three additional data sets besides the imbalanced dataset. The results showed that in each dataset, all classification performances were above 80%. If the KNN algorithm is ignored because of its extraordinarily high performance due to similar variations of the negative class generated by SMOTE technique, CART and SVM algorithms were found to be the most successful classifiers of students’ academic performance with 97% accuracy. On the other hand, using random-sub-sampling technique which can be considered as more reliable, NB algorithm was found to be the most successful classifier. The findings of this study demonstrated that using classification algorithms, LMS logs can be utilized to predict academic performance of students.
Özet
Dünyada ve ülkemizde eğitim alanında dijitalleşme eğilimi arttıkça Öğrenme Yönetim Sistemleri (ÖYS) kullanımı da yaygınlaşmaktadır. Öğrenciler bu ortamlarla girdikleri etkileşimlerde kayda değer miktarda veri üretmekte ve bu veri üzerinde yapay zekâ algoritmaları kullanılarak öğrenme sürecini anlamaya dönük modeller geliştirilebilmektedir. Söz konusu modeller geliştirilirken eğitim ve öğrenme ortamına ait her türlü veri bu kapsama girebildiği gibi özellikle ÖYS’ler içerisindeki öğrenmeye harcanan zaman ve ders içeriğine erişim sıklığı gibi değişkenleri ölçmeye yarayan log (etkileşim) verisi öğrenme sürecinin anlaşılması bakımından büyük imkânlar barındırmaktadır. Bu çalışmada 2020 Bahar yarıyılı içerisinde açılan Temel Bilgisayar Uygulamaları dersine kayıtlı 93 öğrencinin 10 haftalık süre boyunca kullanmış oldukları Moodle tabanlı ÖYS içerisinden elde edilen log verisi üzerinde akademik başarı tahmini amacıyla KNN, Naive Bayes, SVM, CART ve C5.0 sınıflandırma algoritmaları uygulanmıştır. Elde edilen log dosyaları her bir öğrenci için ders ortamıyla olan etkileşimlerini ifade eden oturum açma sayısı, geçmiş konulara bakma sayısı, toplam ve ortalama görüntüleme sayısı, toplam ve ortalama oturum süresi, ödev materyalleri indirme sayısı, ödev deneme sayısı, ödeve harcanan zaman, sınav odaklı çalışma, eğitmene gönderilen mesaj sayısı, video sayfalarında geçirilen zaman ve yüklenen ödev sayısı özniteliklerine dönüştürülmüştür. Oluşturulan veri setinin dengesiz olmasından dolayı ayrıca yukarı örnekleme, SMOTE yöntemi ile sınıf örneklerini yakınlaştırma ve SMOTE yöntemi ile yukarı örnekleme yöntemleri kullanılarak 3 ayrı veri seti üzerinde de sınıflandırma algoritmaları uygulanmıştır. Çalışma sonucunda tüm veri setlerinde %80 üzeri sınıflandırma başarısına ulaşıldığı görülmüştür. En yüksek sınıflandırma başarıları SMOTE ile yukarı örnekleme uygulanan veri setinde negatif sınıfa ait örneklerin düşük miktarı ve benzer varyasyonların türetilmesi sebebiyle %100 başarı gösteren KNN algoritması göz ardı edildiğinde %97 başarı oranıyla CART ve SVM algoritmaları ile elde edilmiştir. Diğer yandan, Naive Bayes algoritmasının sonuçları daha güvenilir sayılabilecek olan rastgele alt örnekleme yöntemiyle en yüksek başarıyı gösterdiği görülmüştür. Sonuç olarak, ÖYS log kayıtlarının akademik başarı tahmininde kullanılabileceği görülmüş ve bulgular ilgili literatür ışığında tartışılmıştır.