Test Fairness: DIF Analysis Accros Gender and Department of H.U. Foreign Language Proficiency Examination

Test Yansızlığı: H.Ü. Yabancı Dil Muafiyeti Sınavının Cinsiyete ve Bölümlere Göre DMF Analizi

Abstract

Problem Statement: It is undesirable situation that tests used in education and psychol- ogy have biased item in other words test or its some of items provide advantage in fa- vor of one of sub groups to respond the item correctly according to socio-cultural or ge- netic and biological factors of test takers. If the test or some of items have a systematic bias, it is very difficult to say that all the group members have the equal chance to re- sponse test items correctly. This condition related with validity of test and it is a serious problem that must be overcome. For this reason educational and psychological litera- ture and institutions like ETS (Educational testing service) devotes great emphasis on detecting and elimination of test and item bias. Purpose: With this research, it has been aimed whether foreign language proficiency ex- aminations show DIF (Different item function) according to gender and departments. Methods: The research was implemented on the proficiency examination including 85 items applied in Hacettepe University School of Foreign Languages and 2071 students who took the exam. In order to examine DIF, Mantel-Haenszel statistic was used. Findings and Results: The results reveal that some items in the proficiency exam imple- mented in Hacettepe University School of Foreign Languages include DIF with respect to gender and departments. Conclusion and Discussion: Many examination have been implementing like UDS, KPDS in every year to determine proficiency level of second language and these examinations have been taken by many people whose socio-cultural back ground or genetic and bio- logically were different. Common critics of people took this exam is some of items have bias in favor of departments and they declared that these situation effect their test per- formance. This research results showed that the proficiency exam can include DIF with respect to gender and departments. In the light of this research results, it could be rec- ommend that not only the test which is using in education but also the test imple- mented to determine proficiency for second language must be inspected by researcher according to some criteria like gender, department, socio cultural status etc.

Özet

Problem Durumu: Psikolojik testler ve eğitimde kullanılan testlerin ve maddelerinin top- lumda yer alan bireylerin sosyo-kültürel yapılarına göre veya genetik ve biyolojik fak- törlere göre yanlılık taşımaması, diğer bir ifadeyle herhangi bir grup lehine avantaj sağ- lamaması arzu edilen bir durumdur. Eğer test ya da bazı maddeleri bu tür bir sistema- tik yanlılık taşıyorsa, testin tüm bireylere eşit davrandığını (testi alan tüm bireylerin tes- ti veya maddeleri cevaplamada eşit şansa sahip olduğunu) söylemek mümkün olmaya- caktır. Bu ölçme araçlarının geçerliğiyle ilgili önemli ve giderilmesi gereken bir sorun- dur. Bu sebeple eğitimle ilgili alan yazın ve kurumlar (Educational testing service vb.) bu durumun tespit edilmesi ve giderilmesi üzerinde önemle durmaktadır. Araştırmanın Amacı: Bu çalışmada, H.Ü (Hacettepe Üniversitesi) yabancı dil muafiyet sınavla- rının cinsiyete ve bölümlere göre değişen madde fonksiyonu (DMF) gösterip göstermediği eğer gösteriyorsa hangi grup ya da gruplar lehine sistematik bir yanlılık taşıyabileceğini belirlemek amaçlanmıştır. Araştırmanın Yöntemi: Araştırma, Hacettepe Üniversitesi yabancı diller yüksek okulu- nun uyguladığı 85 maddeden oluşan yabancı dil muafiyet sınavı ve bu sınava katılan 2071 öğrenci üzerinde yürütülmüştür. Değişen madde fonksiyonunun araştırılması için Mantel-Haenszel istatistiğinden yararlanılmıştır. Bulgular ve Yorum: Çalışma sonucunda, Hacettepe üniversitesi yabancı diller yüksek okulunun uyguladığı yabancı dil muafiyet sınavında kullanılan bazı maddelerin cinsi- yete ve bölümlere göre anlamlı büyüklükte DIF içerdiği saptanmıştır. Sonuç ve Öneriler: Ülkemizde her yıl yabancı dil yeterlik düzeyini belirlemek üzere farklı amaçlarla birçok sınav düzenlenmektedir ve bu sınavlara biyolojik ve sosyo-kültürel açı- dan farklı bir çok insan katılmaktadır. Bu sınavlara katılan bireylerin ortak eleştirilerinden biriside, sınav sorularının bazı bölüm ya da disiplinlere daha uygun içerikte olduğu ve bununda performanslarını etkilediğidir. Bu araştırmanın sonuçları göstermiştir ki, İngiliz- ce yeterlik düzeyini belirlemek üzere yapılan testin bazı maddeleri cinsiyet ve mezun olu- nan bölüme göre yanlılık gösterebilir. Bu araştırmanın sonuçları ışığında, eğitimde kulla- nılan testlerin yanında İngilizce yeterlik düzeyini belirlemek için yapılan yabancı dil sı- navlarının maddelerinin cinsiyet, sosyo-ekonomik düzey, öğrenim görülen alan gibi deği- şik kriterler açısından da, gözden geçirilmesi gerektiği araştırmacılara önerilebilir.