Investigation of Variables Predicting Response Time for PISA Mathematics Items

PISA Matematik Sorularında Yanıtlama Süresini Yordayan Değişkenlerin İncelenmesi

Özet

One of the most essential contributions of technological developments in educational measurement is providing an environment for administering computer-based test items. Due to its technological infrastructure, computer-based tests have some advantages over paper and pencil based tests such as fast score reporting, supporting innovative item formats and recording response time. The purpose of this study is to investigate student characteristics predicting the response time for different item types and mathematical processes in PISA 2012 mathematical literacy items. A computer-based testing environment have been developed and 26 released mathematics items were used. The participants of the study were 124 ninth grade students of a high school in the Mediterranean region. Within the scope of the study, multiple linear regression analysis was conducted to predict the response time with gender, daily computer usage, mathematics exam score, Turkish Language and Literature exam score and average response length (only for open-ended items). In the study, various models were tested regarding item type (multiple-choice and open-ended) and mathematical processes (formulate, employ and interpret). The results of the study indicated that mathematics exam score was not a significant predictor of response time in all models. Moreover, it was found that gender was a predictor of response time and male students used less time for responding to the items than female students by holding the remaining predictor variables constant.

Abstract

Gelişen teknolojinin eğitimde ölçme ve değerlendirme sürecine sağladığı en önemli katkılardan biri hiç şüphesiz testlerin bilgisayar ortamında uygulanabilmesidir. Kâğıt-kalem kullanılarak yanıtlanan testler ile karşılaştırıldığında katılımcıların test puanlarını sınav bitiminde öğrenebilmesi ve yenilikçi farklı soru formatlarını desteklemesi gibi üstünlükleri olan bilgisayar ortamındaki testler, sahip olduğu teknolojik altyapı sayesinde katılımcıların her sorunun yanıtlanmasında harcadığı süreyi de kaydedebilmektedir. Bu çalışmanın amacı, PISA 2012 matematik okuryazarlığı maddelerinde farklı soru türleri ve matematiksel süreçler için yanıtlama süresini yordayan öğrenci özelliklerini incelemektir. Bu amaçla, Uluslararası Öğrenci Değerlendirme Programı (PISA) 2012 uygulamasının açıklanan 26 matematik okuryazarlığı sorusu kullanılarak bilgisayar ortamında test uygulaması geliştirilmiştir. Çalışmanın katılımcılarını, Akdeniz Bölgesindeki bir lisede okuyan 124 dokuzuncu sınıf öğrencisi oluşmaktadır. Bu çalışma kapsamında cinsiyet, günlük bilgisayar kullanım süresi, matematik yazılı, Türk Dili ve Edebiyatı yazılı notu ve (açık uçlu sorulardaki) ortalama yanıt uzunluğu gibi değişkenler ile cevap süresini tahmin etmek için çoklu doğrusal regresyon analizi yapılmıştır. Çalışmada, madde tipi (çoktan seçmeli ve açık uçlu) ve matematiksel süreçler (formüle etme, işe koşma ve yorumlama) ile ilgili çeşitli modeller test edilmiştir. Araştırma bulguları, hiçbir modelde sınıf içi matematik sınav notunun yanıtlama süresini yordamadığını göstermiştir. Bununla birlikte, cinsiyetin yanıtlama süresini yordayan bir değişken olduğu görülmüş ve modelde yer alan diğer değişkenler sabit tutulduğunda erkeklerin kızlara göre soruların yanıtlanmasında daha az süre kullandıkları belirlenmiştir.