Madde Yanlılığını Belirleme Teknikleri Arasında Bir Karşılaştırma

Özet

Problem Durumu: Testlerdeki maddelerin yanlılığını belirlemek için klasik test kuramı ve madde tepki kuramı dahilinde kullanılabilecek çok sayıda teknik vardır. Alanyazında bu tekniklerin karşılaştırılmasıyla ilgili yapılan çalışmaların bazılarında bir biriyle çelişen sonuçlar elde edilirken, bazılarında ise sonuçlar birbirine benzemektedir. Bu çelişkilerin kaynaklarının belirlenebilmesi için yeni çalışmaların yapılması gerekmektedir. Türkiye’de seçme ve yerleştirme amacıyla kullanılan testler üzerinde ise bu tür çalışmalar yok denecek kadar azdır. Bu çalışma söz konusu ihtiyaca az da olsa cevap verebilmek amacıyla gerçekleştirilmiştir. Araştırmanın Amacıı: Araştırmanın amacı madde yanlılıklarını belirlemede kullanılan tekniklerden elde edilen madde yanlılık değerleri arasındaki ilişkileri belirlemektir. Bu amacı gerçekleştirebilmek için “madde güçlük dönüşümü, düzeltilmiş madde güçlük dönüşümü, Mantel – Haenszel, işaretli ve işaretsiz alan indeksleri teknikleriyle elde edilen madde yanlılık değerleri arasında nasıl bir ilişki vardır?” sorusuna yanıt aranmıştır. Araştırmanın Yöntemi: Teknikleri karşılaştırmak için 2003 yılı Ortaöğretim Kurumları Öğrenci Seçme ve Yerleştirme Sınavının Fen Bilgisi alt testine cevap veren 550000 kişi arasından rasgele seçilmiş, evreni temsil edebildiği belirlenen 3344 kişilik örneklem kullanılmıştır. Yanlılık analizleri cinsiyet bağlamında yürütülmüştür. Bulguları ve Sonuçları: Sonuç olarak, beş teknikte de yanlılık gösteren 4 madde bulunmuştur. Bu maddelerin dördü de erkekler lehine işlemiştir. Beş farklı teknikle elde edilen madde yanlılık değerlerinin büyüklük sıraları arasında manidar ilişkilere rastlanmıştır. Söz konusu ilişkiler, madde güçlük dönüşümü ve düzeltilmiş madde güçlük dönüşümü değerleri; madde güçlük dönüşümü ve düzeltilmiş madde güçlük dönüşümü değerleri ile Mantel – Haenszel değerleri; işaretli ve işaretsiz alan indeksleri arasında 0,01 düzeyinde anlamlıdır. İşaretli alan indeksleri ile Mantel–Haenszel değerleri arasındaki ilişki ise 0,05 düzeyinde anlamlı bulunmuştur. Öneriler: Ulaşılan sonuçlara dayanarak maddelerin yanlılığına karar verirken birden fazla tekniğin kullanılması önerilebilir.

Abstract

Problem Statement: There are a lot of techniques used within the classical test theory and item response theory for determining biased items in the tests. In the literature, at many studies related to comparison of these techniques were obtained same results which are contradiction with each other, even if many other’s results are similar each other. To determine sources of this contradiction conducting the new studies have been needed. As for in Turkey, this kind of studies over the tests which have been used to purpose of selection and placement are next to nothing. This study is veriﬁed to response hardly enough in question necessity. Focus of Study: The purpose of the present study was to investigate the relationships among degrees of item bias obtained from the ﬁve item bias detection procedures. For this reason, this study was focused to answer the question that What are the relationships among the degrees of item bias obtained from the ﬁve item bias detection procedures that are (1) transformed item diﬃculty, (2) revised transformed item diﬃculty, (3) Mantel-Haenszel, (4) signed and (5) unsigned area indices. Methods: The research is put forward from tree thousand – tree hundred – forty four (3344) persons who are selected between ﬁve hundred ﬁfty thousand (555000) students who take Student Selection and Placement Examination for Secondary Education Exam. The item bias analyses have been carried out across the gender groups only. Findings/Results: The signiﬁcant results are that biases’ values between on the level of 0.01 and 0.05 are found by using all techniques except ∆MH bias’ values. Results indicate that, between the bias’ values of ∆z and ∆ź are showed signiﬁcant relation on the level of 0.01. There is signiﬁcantly relation between marked and unmarked area index values on the levels of 0.01. Besides, it is also observed signiﬁcantly relation between the marked area values and ∆MH values on the 0.05 level. According to the techniques, the number of item bias changes between 10 and 15. Only four items are getting biases in all techniques. Recommendations: As a consequence; it can be proposed that common items can accepted as biased which are examined in all techniques by using several of them instead of making decision about the items which are based on only one technique in the real data.