AI Summary & Key Takeaways
AI InsightThe findings indicate that the random forest algorithm yielded the highest and most consistent results, with an AUC of 0.9373 (±0.0036) in 10-fold cross-validation and 0.9328 on the hold-out test set; hyperparameter optimisation yielded a marginal improvement on the test set (AUC = 0.9337).
📌 3 Key Takeaways
Abstract
This study aimed to examine the factors influencing academic achievement in online learning environments through machine learning methods. Using the Open University Learning Analytics Dataset (OULAD), twelve variables comprising demographic characteristics, virtual learning environment interaction data, and assessment performance were analysed across 25,307 student-course records belonging to 22,446 unique students. Five algorithms, namely decision tree, random forest, gradient boosting, logistic regression, and naive Bayes, were comparatively examined to predict academic achievement, and model performances were evaluated using 10-fold cross-validation. The findings indicate that the random forest algorithm yielded the highest and most consistent results, with an AUC of 0.9373 (±0.0036) in 10-fold cross-validation and 0.9328 on the hold-out test set; hyperparameter optimisation yielded a marginal improvement on the test set (AUC = 0.9337). An early-warning analysis based on data from the initial weeks of the term demonstrated that a predictive accuracy of AUC = 0.7805 could be achieved using only the first 30 days of interaction data, rising to AUC = 0.8325 with the first 90 days. Feature importance analysis revealed that the number of assessments (24.95%), the number of active days on the platform (20.05%), and the mean assessment score (14.60%) were the strongest predictors of academic achievement, whereas students’ demographic characteristics demonstrated relatively limited predictive power. The findings offer applicable insights for the development of artificial intelligence-based early warning systems and the design of personalised learning environments in online settings.
Özet
Bu çalışma ile çevrimiçi öğrenme ortamlarında akademik başarıyı etkileyen faktörlerin makine öğrenmesi yöntemleri ile ele alınması amaçlanmıştır. Açık Üniversite Öğrenme Analitiği Veri Seti (OULAD) kullanılarak yapılan bu çalışmada, 22.446 öğrencinin 25.307 ders kaydı verisi üzerinden elde edilen demografik özellikler, sanal öğrenme ortamı etkileşim verileri ve değerlendirme performanslarından oluşan 12 değişken analiz edilmiştir. Akademik başarıyı tahmin etmek için Karar Ağacı, Rastgele Orman, Gradyan Artırma, Lojistik Regresyon ve Naive Bayes algoritmaları karşılaştırmalı olarak incelenmiş; model performansları 10 katlı çapraz doğrulama yöntemiyle değerlendirilmiştir. Elde edilen bulgulara göre Rastgele Orman algoritması, 10 katlı çapraz doğrulamada AUC = 0,9373 (±0,0036) değeri ile en yüksek ve en tutarlı sonuçları vermiş, bağımsız test setinde AUC = 0,9328 değerine ulaşmıştır; hiperparametre optimizasyonu test setindeki AUC’yi 0,9337’ye yükselterek sınırlı bir iyileşme sağlamıştır. Dönemin ilk haftalarına ait verilerle gerçekleştirilen erken uyarı analizinde, yalnızca ilk 30 günlük etkileşim verisiyle AUC = 0,7805, ilk 90 günlük veriyle ise AUC = 0,8325 düzeyinde tahmin başarısına ulaşılabildiği belirlenmiştir. Değişken önemi analizinde değerlendirme sayısı (%24,95), aktif gün sayısı (%20,05) ve ortalama değerlendirme puanı (%14,60) akademik başarının en güçlü yordayıcıları olarak öne çıkmış; demografik özelliklerin yordayıcı gücünün ise nispeten sınırlı kaldığı görülmüştür. Bulgular, çevrimiçi ortamlarda yapay zeka temelli erken uyarı sistemleri ve kişiselleştirilmiş öğrenme tasarımlarının geliştirilmesine yönelik uygulanabilir çıkarımlar sunmaktadır.