Is Peer Assessment Reliable in Objectively Structured Clinical Examination?

Objektif Yapılandırılmış Klinik Sınavda Akran Değerlendirmesi Güvenilir midir?

Ertan BÜLBÜLOĞLU, Osman DEMİR, Hasan DAGMURA, Emin DALDAL, Mehmet Fatih DAŞIRAN, İsmail OKAN, Hüseyin BAKIR, Zeki ÖZSOY

Abstract

Objective: The study was designed to evaluate the reliability of the peer assessment in the objectively structured clinical examination (OSCE) for the summative assessment of 4th grade students at the end of general surgery clerkship. Method: The study was planned prospectively with the permission of the Dean of Medicine Faculty and approval of the ethics committee. The 6th grade students who were in the surgery rotation participated in the study as peer assessors (PA). Both peers and department of general surgery assessed the students. Pass/fail point was accepted as 60. The scores of OSCE and performance evaluation given by peers and faculty were compared statistically.Results: Twenty-three students completed general surgery clerkship. Ten students (43.5%) were female. According to performance scores given by the faculty, 15 (65.2%) of the 23 students were successful, while all students were considered successful (having a grade of 60 or more) based on the scores of peer evaluation. There was a significant difference between the faculty members and PA with regard to the performance evaluation (p=0.008). The faculty members found five students (27.8%) successful in the OSCE (having a grade of 60 or more). However, ten students (43.5%) received a score of at least six from peer evaluation. Although there was a difference, it was not significant (p=0.063). Gender did not affect scoring in performance evaluation and OSCE application.Conclusion: Although there was a difference between faculty members and peer evaluators in the performance evaluation, no difference was observed in OSCE. In conclusion, OSCE assessment by peer evaluators is reliable.

Özet

Amaç:Genelcerrahikliniğinde4.sınıföğrencilerine“objektifyapılandırılmış klinik sınav“ (OYKS) uygulanmasında akran değerlendirmesiningüvenilirolupolmadığınıdeğerlendirmekveöğrencinin servis içindeki performansının akran değerlendirmesi üzerine etkilerini araştırmak amacıyla bu çalışmayı tasarladık. Yöntem: Çalışma, Tıp Fakültesi Dekanlığından ve etik kuruldan izin alınarak prospektif olarak planlandı. OYKS uygulamasına katılan 4. sınıf stajyer öğrenciler çalışma grubu olarak belirlendi. Altıncı sınıf öğrencileri ise akran değerlendirici olarak çalışmada yer aldı. Bu çalışma için akran değerlendiricilerin ve öğretim üyelerinin performans puanı vermeleri ve OYKS uygulamasına katılarak değerlendirmeleri istendi. Sonuçlar istatiksel yöntemlerle değerlendirildi.Bulgular: OYKS uygulamasına katılan 23 öğrenciden 10’u (%43,5) kız öğrenciydi. Genel cerrahi stajından sorumlu öğretim üyeleri tarafından verilen ortalama performans puanlarına göre, 23 öğrenciden 15’i (%65,2) başarılı oldu. Akran değerlendiricilerinin performans puanı ortalamalarına göreisetümöğrencilerinbaşarılıolduğugörüldü.Öğretimüyeleriileakrandeğerlendiricilerinverdikleriperformanspuanlarıarasındaistatistiksel olarak anlamlı fark bulunmuştur (p=0,008). Öğretim üyeleri ve akran değerlendiriciler tarafından stajyerlere verilen OYKS puanları karşılaştırıldı. Öğretim üyelerinin verdikleri puana göre, beş (%27,8) öğrenci altı veya daha yüksek puan alarak başarılı oldu. Akran değerlendiricilerin puanlamasına göre ise on (%43,5) öğrenci altı veya daha yüksek puan alarak başarılı oldu. Buna göre akran değerlendiricilerin OYKS’de daha fazla öğrenciyi başarılı bulduğu görüldü. Ancak iki grubun verdiği puanlarda istatistiksel olarak anlamlı fark yoktu (p=0,063). Cinsiyetin performans değerlendirmesinde ve OYKS uygulamasında puanlamayı etkilemediği tespit edildi. Sonuç: Çalışmamızda performans değerlendirmesinde öğretim üyeleri ile akran değerlendiriciler arasında fark olduğunu, OYKS uygulaması değerlendirmesinde ise farklılık olmadığını bulduk. Sonuç olarak akran değerlendirmesinin güvenilir olduğunu düşünüyoruz