Importance of Assessment in Medical Specialty Education

Abstract

Aim: Whether a specialization training program achieves its objectives or not is decided by showing that the graduates of the program have gained the expected knowledge, skills and behaviors. The measurement tools used in this decision require some specific knowledge and skills. The aim of this study was to analyze the questions asked in an examination and to investigate the suitability of the assistants and the education program in terms of educational sciences. Methods: Responses of Family Medicine residents to a multiple-choice test that consists of 50 items, conducted throughout the country. The questions were analyzed in terms of the connection with the educational objectives, the degree of difficulty, separation and distraction power. Results: Of the 150 questions asked, 20 were not found in the learning objectives. In the analysis of difficulties, 105 of the questions were easy and very easy questions; on the other hand, in the analysis of distraction, 27 out of 150 questions are sufficient for discriminating; in terms of distractors, all the distractors of the 19 problems were found to be functional. Conclusion: The examination is not suitable for the evaluation of both the residents and the program, because it is based on knowledge measurement by multiple choice quiz method, not being competency based, the questions are not included in the learning objectives, the disaggregation of the questions are weak, and the distractors are not working in a large majority. In order to avoid these situations, it would be appropriate for the family medicine trainers to undergo a training including the role and importance of measurement and assessment in education before taking the authority of assistant and program evaluation.

Özet

Amaç: Bir uzmanlık eğitim programının amaçlarına erişip erişmediğine, yetiştirdiği uzmanların, beklenenbilgi, beceri ve davranışları kazandığının gösterilmesi ile karar verilir. Bu kararda kullanılan ölçme araçlarıhazırlayıcıda bazı özel bilgi ve beceriler bulunmasını gerektirir. Bu çalışmada bir sınavda sorulan soruların analizedilerek eğitim bilimleri açısından uzmanlık öğrencilerinin ve eğitim programının değerlendirilmesine uygunluğunuaraştırmak amaçlanmıştır.Yöntem: Aile Hekimliği uzmanlık öğrencilerinin ülke genelinde kıdemlerine göre yapılan ve 50 maddedenoluşan bir çoktan seçmeli test sınavında verdikleri yanıtlar; soruların eğitim hedefleri ile bağlantısı, zorluk derecesi,ayrıştırma ve çeldirici gücü yönünden analiz edilmiştir.Bulgular: Sorulan 150 sorudan toplam 20 tanesi öğrenim hedeflerinde bulunamamıştır. Güçlük analizindesoruların 105’inin kolay ve çok kolay sorulardan oluştuğu; buna karşın ayrıştırıcılık analizinde 150 sorudan 27’sininayrıştırıcılık açısından yeterli olduğu; çeldiriciler yönünden ise 19 sorunun tüm çeldiricilerinin çalıştığı görülmüştür.Sonuç: Yapılan sınav çoktan seçmeli sınav yöntemiyle bilgi ölçümüne dayalı olup yetkinlik temelli olmaması,ölçülen öğrenim hedefleri içinde yer almaması, bilenle bilmeyeni ayrıştırabilen soruların azlığı ve sorulardakullanılan çeldiricilerin büyük bir çoğunlukla çalışmaması nedeniyle hem kişilerin hem de programındeğerlendirilmesi için uygun değildir. Bu durumların önüne geçilmesi için aile hekimliği eğiticilerinin asistan veprogram değerlendirme yetkisini almadan önce eğitimde ölçme değerlendirmenin yeri ve önemi konularınıkapsayan bir eğitimden geçirilmeleri uygun olacaktır.