Investigation of Variables Predicting Response Time for PISA Mathematics Items

PISA Matematik Sorularında Yanıtlama Süresini Yordayan Değişkenlerin İncelenmesi

Abstract

One of the most essential contributions of technological developments in educational measurement is providing an environmentfor administering computer-based test items. Due to its technological infrastructure, computer-based tests have some advantagesover paper and pencil based tests such as fast score reporting, supporting innovative item formats and recording response time.The purpose of this study is to investigate student characteristics predicting the response time for different item types andmathematical processes in PISA 2012 mathematical literacy items. A computer-based testing environment have been developedand 26 released mathematics items were used. The participants of the study were 124 ninth grade students of a high school in theMediterranean region. Within the scope of the study, multiple linear regression analysis was conducted to predict the responsetime with gender, daily computer usage, mathematics exam score, Turkish Language and Literature exam score and averageresponse length (only for open-ended items). In the study, various models were tested regarding item type (multiple-choice andopen-ended) and mathematical processes (formulate, employ and interpret). The results of the study indicated that mathematicsexam score was not a significant predictor of response time in all models. Moreover, it was found that gender was a predictor ofresponse time and male students used less time for responding to the items than female students by holding the remainingpredictor variables constant.

Özet

Gelişen teknolojinin eğitimde ölçme ve değerlendirme sürecine sağladığı en önemli katkılardan biri hiç şüphesiz testlerin bilgisayar ortamında uygulanabilmesidir. Kâğıt-kalem kullanılarak yanıtlanan testler ile karşılaştırıldığında katılımcıların test puanlarını sınav bitiminde öğrenebilmesi ve yenilikçi farklı soru formatlarını desteklemesi gibi üstünlükleri olan bilgisayar ortamındaki testler, sahip olduğu teknolojik altyapı sayesinde katılımcıların her sorunun yanıtlanmasında harcadığı süreyi de kaydedebilmektedir. Bu çalışmanın amacı, PISA 2012 matematik okuryazarlığı maddelerinde farklı soru türleri ve matematiksel süreçler için yanıtlama süresini yordayan öğrenci özelliklerini incelemektir. Bu amaçla, Uluslararası Öğrenci Değerlendirme Programı (PISA) 2012 uygulamasının açıklanan 26 matematik okuryazarlığı sorusu kullanılarak bilgisayar ortamında test uygulaması geliştirilmiştir. Çalışmanın katılımcılarını, Akdeniz Bölgesindeki bir lisede okuyan 124 dokuzuncu sınıf öğrencisi oluşmaktadır. Bu çalışma kapsamında cinsiyet, günlük bilgisayar kullanım süresi, matematik yazılı, Türk Dili ve Edebiyatı yazılı notu ve (açık uçlu sorulardaki) ortalama yanıt uzunluğu gibi değişkenler ile cevap süresini tahmin etmek için çoklu doğrusal regresyon analizi yapılmıştır. Çalışmada, madde tipi (çoktan seçmeli ve açık uçlu) ve matematiksel süreçler (formüle etme, işe koşma ve yorumlama) ile ilgili çeşitli modeller test edilmiştir. Araştırma bulguları, hiçbir modelde sınıf içi matematik sınav notunun yanıtlama süresini yordamadığını göstermiştir. Bununla birlikte, cinsiyetin yanıtlama süresini yordayan bir değişken olduğu görülmüş ve modelde yer alan diğer değişkenler sabit tutulduğunda erkeklerin kızlara göre soruların yanıtlanmasında daha az süre kullandıkları belirlenmiştir.