Journals / Yükseköğretim Dergisi / 2018 / Cilt: 8 - Sayı: 2

The study of classification consistency of transition to higher education examination according to the cut-off scores obtained from different methods

Yükseköğretime Geçiş Sınavının Sınıflama Tutarlılığının Farklı Yöntemlerle Elde Edilen Kesme Puanlarına Göre İncelenmesi

Pages
188–199
Publication Date
2018-08-01
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Due to the fact that the cut-off score remains unchanged, research findings are expected to present a different perspective on the debate on the preparation of new examinations.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The way in which the passing standards of the examinations that lead to the future of students and a society are determined has an important place in terms of the reliability and validity of classifications such as successful/unsuccessful or passed/failed and objective evaluation of educational outputs.
📊
Key Findings & Data:It was aimed in this study to examine the consistency of decisions taken for the candidates as "can enter LYS (Undergraduate Placement Exam)/cannot enter LYS" based on the cutoff score (180.00) used in YGS (Transition to Higher Education Exam) in Turkey in comparison with the classification consistency of cutoff scores obtained from Borderline Group, Contrasting Group and Receiver Operating Characteristic Curve method.
💡
Conclusion & Impact:Due to the fact that the cut-off score remains unchanged, research findings are expected to present a different perspective on the debate on the preparation of new examinations.
🔬Design:Research Article
📍Scope:2015 Verileri
⚙️Variables:Karşıt grup · kesme puanı · ROC analizi

Abstract

The way in which the passing standards of the examinations that lead to the future of students and a society are determined has an important place in terms of the reliability and validity of classifications such as successful/unsuccessful or passed/failed and objective evaluation of educational outputs. It was aimed in this study to examine the consistency of decisions taken for the candidates as "can enter LYS (Undergraduate Placement Exam)/cannot enter LYS" based on the cutoff score (180.00) used in YGS (Transition to Higher Education Exam) in Turkey in comparison with the classification consistency of cutoff scores obtained from Borderline Group, Contrasting Group and Receiver Operating Characteristic Curve method. The data of the study were obtained from a group of 167 candidates who were studying in the twelfth grade participating in the 2015 YGS, and a group of seven experts who evaluated these candidates. Before the exam, the expert group asked whether these candidates could pass the second LYS successfully in the 2015 YGS and, accordingly, they were classified as successful, unsuccessful or in-borderline. After the exam, the highest of the different score types the candidates received in the 2015 YGS was selected and the level of concordance between the expert opinions was examined and later the cutoff scores were obtained separately for the different standardization methods. The findings of the research revealed that the cutoff scores obtained by different methods had similar values, that the indexes of classification consistency of cutoff points obtained by all methods according to the YGS cutoff score criteria were high, and that the classification consistency indices gave lower results when expert opinions were taken as criteria. The Higher Education Council has gone to some new regulations in the university entrance examination system to be implemented starting from 2018 and a transition to a one-stage examination with two sessions has been made. In the new system, the condition of entering the Domain Proficiency Test is again "the minimum score of 180.00" from the test in the first session. Due to the fact that the cut-off score remains unchanged, research findings are expected to present a different perspective on the debate on the preparation of new examinations.

Özet

Bireylerin ve bir toplumun geleceğine yön veren yüksek riskli sınavlarda geçerli olan standartlar (kesme puanı ya da baraj puan); başarılı/başarısız, geçti/kaldı gibi sınıflamaların güvenilir ve geçerli bir biçimde gerçekleştirilmesi açısından önemli bir yere sahiptir. Bu çalışmada, ülkemizde üniversite giriş sınavlarında dikkate alınan kesme puanına (180.00) dayalı olarak adaylar hakkında verilen "lisans yerleştirme sınavına girebilir/giremez" şeklindeki kararların tutarlılığının, Sınır Grup, Karşıt Grup ve İşlem Karakteristik Eğrisi yöntemi elde edilen kesme puanlarının sınıflama tutarlıkları ile karşılaştırmalı olarak incelenmesi amaçlanmıştır. Araştırmanın verileri, on ikinci sınıfta öğrenim görmekte olan ve 2015 Yükseköğretime Geçiş Sınavına (YGS) katılan 167 adaydan ve bu adayları değerlendiren yedi uzmandan elde edilmiştir. Sınav öncesinde uzmanlardan, adayların 2015 YGS'de başarılı olarak ikinci aşama sınavı olan Lisans Yerleştirme Sınavına (LYS) girip giremeyeceği hakkında görüş alınmış ve bu görüşler doğrultusunda adaylar "barajı geçer/geçemez" ve "sınırda" olmak üzere sınıflandırılmıştır. Sınav sonrasında, adayların 2015 YGS'de aldıkları farklı puan türlerinden en yüksek olanı, uzman görüşleriyle karşılaştırılmıştır. Analiz aşamasında, öncelikle uzmanlar arası uyum incelenmiş, daha sonra farklı yöntemler aracılığıyla ayrı ayrı kesme puanları elde edilmiştir. Araştırmanın bulguları, farklı yöntemlerle elde edilen kesme puanlarının birbirine yakın değerler verdiğini; YGS kesme puanı ölçütüne göre tüm yöntemlerle elde edilen kesme puanlarının sınıflama tutarlılığı indekslerinin yüksek olduğunu; uzman görüşleri ölçüt olarak alındığı durumda ise sınıflama tutarlılığı indekslerinin daha düşük sonuçlar verdiğini ortaya koymuştur. Yükseköğretim Kurulu 2018 yılından itibaren uygulanmak üzere, üniversite giriş sınav sisteminde yeni bazı düzenlemelere gitmiş ve iki oturumlu tek aşamalı bir sınav uygulamasına geçiş yapılmıştır. Yeni sistemde lisans yerleştirme sınavı olarak planlanan Alan Yeterlik Testi!ne girebilmenin koşulu yine ilk oturumdaki testten "en az 180.00 puan almış olmak" şeklindedir. Kesme puanının değişmemesi nedeniyle, araştırma bulgularının yeni sınav düzenlemesi ile ilgili tartışmalara farklı bir bakış açısı sunması beklenmektedir.

🔖

Cite This Article

BODUROĞLU, E., ALICI, D. (2018). The study of classification consistency of transition to higher education examination according to the cut-off scores obtained from different methods. Yükseköğretim Dergisi, Cilt: 8 - Sayı: 2, 188–199. https://ajindex.com/articles/724853

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (13)

  1. Akçay, A. ve Demirel, A. (2011). Pyometralı köpeklerde bazı kan parame- trelerinin optimal pozitiflik eşiğinin özgün oranlar ve ROC (Receiver Operating Characteristic) eğrisi yöntemi ile belirlenmesi. Erciyes Üniversitesi Veteriner Fakültesi Dergisi, 8(3), 153–163.
  2. Alpar, R. (2010). Spor, sağlık ve eğitim bilimlerinden örneklerle uygulamalı ista- tistik ve geçerlik-güvenirlik. Ankara:
  3. Detay Yayıncılık. Baykal, A. (2012). LYS 2012 barajının temelleri zayıf. Artı Eğitim, 8(91), 48–49.
  4. Bejar, I. I. (2008). Standard setting: What is it? Why is it important? R&D Connections, 7, 1–6.
  5. Chatterji, M. (2003). Designing and using tools for educational assessment. Boston, MA: Allyn & Bacon/Pearson. Cohen, R. J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
  6. Crocker, L., and Algina, J. (1986). Introduction to classical and modern test the- ory. New York, NY: CBS College Publishing Company. Çetin, S. ve Gelbal, S. (2010). Farklı standart belirleme yöntemlerinin geçme puanları üzerine etkisi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 43(1), 79–95.
  7. De Jesus Mari, J., and Williams, P. (1985). A comparison of the validity of two psychiatric screening questionnaires (GHQ-12 and SRQ-20) in Brazil, using relative operating characteristic (ROC) analysis. Psychological Medicine, 15(3), 651–659.
  8. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
  9. Güçlü, A. (2017). Yeni sınav sisteminin artıları eksileri? 24 Mart 2018 tari- hinde adresinden erişildi. Gündeğer, C. ve Doğan, N. (2014).
  10. Angoff, Yes/No ve Ebel standart belir- leme yöntemlerinin karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 5(1), 53–60.
  11. Habertürk (2017). Üniversiteye girişte yeni sistem: Yükseköğretim Kurumları Sınavı. 26 Mart 2018 tarihinde adresinden erişildi. Hanley, J. A., and McNeil, B. J. (1983). A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology, 148(3), 839–843.
  12. Hürriyet (2017). Uzmanlar YKS’yi değerlendirdi: Coğrafya bilmeyen tıpçılar yetişecek. 26 Nisan 2018 tarihinde adresinden erişildi. Impara, C. J., and Plake, B. S. (1998). Teachers ability to estimate item dif- ficulty: A test of the assumptions in the Angoff standard setting method. Journal of Educational Measurement, 35(1), 69–81.
  13. Jeager, R. M. (1989). Certification of student competence: In R. L. Linn (Ed), Educationa