Effect of Extreme and Acquiescence Response Style in TIMSS 2015

Abstract

Purpose: Cross-cultural comparisons based on ordinal Likert-type rating scales have been threatened by response style which is systematic tendencies to respond to items regardless of the item content. So, this study aimed to investigate the effect of extreme response style and acquisance response style on TIMSS 2015 data.Method: The sample of this descriptive study included eighth grade students of the countries Japan, Korea, Taipei, Turkey, Oman and Jordan. Students’ responses to scale regarding value on mathematics were used. To examine the impact of response styles, partial credit model and partial credit model with response style were analyzed. Also, the estimates obtained from these models were compared.Findings: It was found that response styles existed in TIMSS 2015 data. Furthermore, the number of the students selecting the extreme categories were found to be lower than that of the students selecting relatively middle response categories. Additionally, item thresholds of the extreme categories were found to be distorted leading to biased determination of item response curves.Implications for Research and Practice: The presence of the response style in the large-scale assessment which guides policy makers in their regulations in the educational systems and gives information to teachers in their practices lead researchers to examine and control the effect of them.

Özet

Problem Durumu: Globalleşen dünyada politik gelişmelerle birlikte bilimsel olmayan yapıların belirlenmesine odaklanılmıştır. Bu durumun nedenleri olarak bilişsel yapılar üzerinde etkisinin olması, başarının kestirilmesinde önemli bir rolünün olması, bilişsel yapıların çeşitli bağlamlar ve kültürlerde anlaşılmasını sağlaması sıralanabilir. Özellikle kültürler arası karşılaştırma çalışmalarında, akademik öz-yeterlilik, duyuşsal zeka, tutum gibi çeşitli bilişsel olmayan yapıların ve bu yapıların başarı ile ilgili çıktılarla ilişkisi üzerindeki ilgi giderek artmaktadır. (Richardson, Abraham & Bond, 2012). Bilişsel olmayan yapıların ölçülmesinin avantajlarının yanı sıra, değer, tutum gibi yapıların ölçülmesinde bilişsel yapıların ölçülmesinde söz konusu olmayan bazı sınırlılıklar söz konusudur. Bunlardan biri bu yapıların tepki stillerinin etkisine maruz kalmasıdır (McGrath, Mitchell, Kim, & Hough, 2010). Bilişsel olmayan yapıların ölçülmesinde sıklıkla kullanılan yaklaşım, cevaplayıcılara katılım düzeylerini belirleyecekleri birtakım ifadeler listesi vermektedir. Fakat bu yaklaşım, uç tepki stili (UTS), kabullenici tepki stili (KTS), orta nokta tepki (OTS) stili gibi bazı tepki stillerinin etkisine açıktır (Van Herk, Poortinga, & Verhallen, 2004). Kültürler arası karşılaştırma çalışmalarında sıklıkla karşılaşılan tepki stilleri UTS ve KTS’dir. UTS grup ortalamaların farklılaşmasına, iç tutarlılık anlamında güvenirliğin düşmesine neden olurken KTS tip II hatanın oluşmasına yol açmaktadır. Alan yazında, bu geçerlilik tehdidinin belirlenmesine yönelik kabul edilmiş tek bir yöntem yoktur. Bu yöntemlerden bazılarında çeşitli betimsel istatistikler hesaplanmakta veya bilişsel olmayan yapının ölçülmesinde kullanılan ölçekteki maddelerle ilişkisiz ilave maddeler eklenmektedir. Fakat bu yöntemler, tepki stilinin miktarını belirlemede yetersiz kalmaktadır. Bu yöntemlerin yanı sıra gizil sınıf analiziyle de tepki stillerinin etkisi belirlenebilmektedir. Fakat, bu yöntemin en büyük sınırlılığı tepki stilini süreksiz bir değişken olarak ele almasıdır. Madde tepki kuramına dayalı bazı yöntemlerde ise bu sınırlılık ortadan kaldırılmıştır. Örneğin madde tepki ağacı modellerinde çeşitli tepki stillerinin etkisi rahatlıkla modellenebilmektedir. Fakat, analiz öncesinde oluşturulması gereken ağaç farklı bir şekilde oluşturuldu ise analiz sonuçları yanlış çıkabilmektedir. Böyle bir belirsizlik tepki stilinin etkisinin dahil edildiği kısmi puan modelinde söz konusu değildir. Bu model sayesinde tepki stilinin etkisinin miktarı belirlenebilmektedir. Tepki stilini sürekli bir değişken olarak ele alan bu modelde, bireye ve tepki stiline ilişkin parametreler eş zamanlı olarak kestirilebilmekte ve böylelikle tepki stili ve bireyin tutumu arasındaki ilişkiler belirlenebilmektedir.

Keywords: Kabullenici tepki stili, kültürler arası çalışma, uç tepki stili, TIMSS