AI Summary & Key Takeaways
AI InsightFinally, in the qualitative part, the researchers discussed whether the items were biased or not by referring to the expert opinions on the items that demonstrate a high level of DIF according to the results of both methods, and relevant recommendations were presented to the researchers and practitioners.
📌 3 Key Takeaways
Abstract
It is thought that the concept of electronic assessment (e-assessment), which has become a current issue with Covid-19, will gain widespread use in the upcoming years as a requirement of the modern age. In this respect, it can be suggested that analyzing attitudes toward e-assessment will be important in the present and the future. Considering the attitude scales for e-assessment used in Turkey, it can be observed that some relevant evidence has been demonstrated for the validity and reliability of the scales. However, although inter-group comparisons were performed in these studies, they did not investigate at what level measurement invariance is achieved; or whether any items were demonstrating differential item functioning (DIF), and reducing validity by indicating bias. This mixed-method study is significant in terms of providing further evidence of validity and it aims to examine the e-Assessment Attitude Scale, developed by Bahar and revised by Bahar & Asil, in terms of measurement invariance and differential item functioning according to the variables of gender and possession of a personal computer. The quantitative part of the study consisted of 537 undergraduate students and the qualitative part consisted of eight field experts. During the first step of the quantitative part of the study, the data obtained were tested for measurement invariance based on independent variables by checking the analysis assumptions. Due to the fact that metric invariance could not be achieved in both independent variables, POLY-SIBTEST and MantelTest were applied to the data set in the second step, and items demonstrating DIF were determined. Finally, in the qualitative part, the researchers discussed whether the items were biased or not by referring to the expert opinions on the items that demonstrate a high level of DIF according to the results of both methods, and relevant recommendations were presented to the researchers and practitioners.
Özet
Covid-19 ile tekrar gündeme gelen elektronik değerlendirme (e-değerlendirme) kavramının, çağın bir gereksinimi olarak ilerleyen yıllarda epey yaygınlaşacağı düşünülmektedir. Bu açıdan, e-değerlendirme kavramına ilişkin tutumların incelenmesinin günümüz ve sonrasında önem arz edeceği söylenebilir. Türkiye’de kullanılan e-değerlendirmeye yönelik tutum ölçekleri dikkate alındığında, ölçeklerin geçerliğine ve güvenirliğine ilişkin kanıtların ortaya koyulduğu görülmektedir. Ancak bu araştırmalarda gruplar arası karşılaştırmalar yapılmış olsa da, ölçme değişmezliğinin ne düzeyde sağlandığı; değişen madde fonksiyonu (DMF) gösteren ve yanlılığa işaret ederek geçerliği düşüren herhangi bir maddenin bulunup bulunmadığı incelenmemiştir. Geçerliğe ilişkin daha fazla kanıt sunması bakımından önem arz eden bu karma yöntem araştırmanın amacı, Bahar tarafından geliştirilmiş; Bahar ve Asil tarafından revize edilmiş, e-Değerlendirmeye Yönelik Tutum Ölçeği’nin, cinsiyet ve kişisel bir bilgisayara sahip olma değişkenlerine göre, ölçme değişmezliği, DMF ve madde yanlılığı açısından incelenmesidir. Araştırmanın nicel kısmı 537 lisans öğrencisinden; nitel kısmı ise beş alan uzmanından oluşmaktadır. Araştırmanın nicel kısmının birinci basamağında, elde edilen veri, analiz varsayımları kontrol edilerek, bağımsız değişkenler temelinde ölçme değişmezliği bakımından sınanmıştır. Her iki bağımsız değişkende de metrik değişmezliğin sağlanamıyor oluşu sebebiyle, ikinci aşamada veri setine POLY-SIBTEST ile MantelTest uygulanmış ve DMF içeren maddeler belirlenmiştir. Son olarak nitel kısımda, iki yöntem sonucu yüksek düzeyde DMF gösterdiği belirlenen maddelere ilişkin uzman görüşlerine başvurularak maddelerin yanlılık gösterip göstermediği tartışılmış; bu bağlamda araştırmacılara ve uygulayıcılara öneriler sunulmuştur.