AI Summary & Key Takeaways
AI InsightAssessment of reviewers for pairs of evaluation systems revealed that scores increased in the same direction with each other significantly (p<0.05).Conclusion: The National Evaluation System is an appropriate method for evaluation of conference abstracts due to the consistent results between the referees similarly with the current international evaluation systems and ease of applicability with regard to evaluation period.
📌 3 Key Takeaways
Abstract
Objective: To compare the quality of oral presentations presented at the 19th National Surgical Congress with a national evaluation system with respect to the applicability of systems, and consistency between systems and reviewers. Material and Methods: Fifty randomly selected observational studies, which were blinded for author and institute information, were evaluated by using the Strengthening the Reporting of Observational Studies (STROBE), Timmer Score, and National Evaluation System by two reviewers. Abstract scores, evaluation periods, and compatibility between reviewers were compared for each evaluation system. Abstract scores by three different evaluation systems were regarded as the main outcome. Wilcoxon matched-pairs signed rank and Friedman tests for comparison of scores and times, kappa analysis for compatibility between reviewers, and Spearman correlation for analysis of reviewers based on pairs of evaluation systems were used. Results: There was no significant difference between abstract scores for each system (p>0.05). A significant difference for evaluation period of reviewers was detected for each system (p<0.05). Compatibility between reviewers was the highest for the Timmer Score (medium, ?=0.523), and the compatibility for STROBE and National Evaluation System was regarded as acceptable (?=0.394 and ?=0.354, respectively). Assessment of reviewers for pairs of evaluation systems revealed that scores increased in the same direction with each other significantly (p<0.05).Conclusion: The National Evaluation System is an appropriate method for evaluation of conference abstracts due to the consistent results between the referees similarly with the current international evaluation systems and ease of applicability with regard to evaluation period.
Özet
Amaç: 19. Ulusal Cerrahi Kongresi sözel bildiri özetlerinin mevcut uluslararası değerlendirme sistemleri yanında Türkçe olarak geliştirilen ulusal bir değerlendirme sistemi ile karşılaştırmalı analizi, sistemlerin hakemler tarafından uygulanabilme kolaylığı, hakemler ve sistemler arası uyum özelliklerinin belirlenmesi amaçlanmıştır.Gereç ve Yöntemler: Kongre bildiri özetleri kitapçığındaki sözel bildirilerden rastgele seçilen 50 gözlemsel çalışma STROBE (Strengthening the Reporting of Observational Studies) değerlendirme sistemi, Timmer aracı ve Ulusal Değerlendirme Sistemi kullanılarak iki farklı hakem tarafından, çalışmayı gerçekleştiren yazar ve kurum bilgileri kör olacak şekilde değerlendirildi. Bildiri skorları ve değerlendirme süreleri hesaplandı. Üç farklı değerlendirme sistemi ile elde edilen bildiri skoru esas değişken olarak kabul edildi. Her bir değerlendirme sistemi için hakemlerin verdiği skorlar, değerlendirme süreleri ve kendi aralarındaki uyum karşılaştırıldı. Hakemler arası bildiri skoru ve süre karşılaştırması için Wilcoxon eşleştirilmiş çiftler işaret sıralama ve Friedman testleri, hakemler arası uyum için kappa uyum analizi, hakemlerin ikişerli sistem değerlendirmesi korelasyonunda Spearman korelasyon analizi kullanıldı. %95'lik güven aralığında, 0,05'ten küçük p değeri anlamlı kabul edildi.Bulgular: Her bir değerlendirme sistemi için hakemlerin verdiği skorlar arasında anlamlı bir fark yoktu (p>0,05). İki hakem arasında değerlendirme süresi açısından, her bir sistem için geçerli olmak üzere, anlamlı bir fark tespit edildi (p<0,05). Hakemler arası uyum en fazla Timmer aracında idi (orta, ?=0,523). STROBE ve ulusal değerlendirme sistemi için uyum kabul edilebilir düzeyde (sırasıyla ?=0,394 ve ?=0,354) idi. Hakemlerin ikişerli sistem değerlendirmesinde, bildiri skorlarının birbirleri ile anlamlı bir şekilde aynı yönde artış gösterdiği görüldü (p<0,05).Sonuç: Uluslararası kullanılan sistemlerle benzer şekilde hakemler arası uyumlu sonuçlar vermesi ve süre açısından uygulanabilirlik kolaylığına sahip olması açısından ulusal değerlendirme sistemi, kongre bildiri özetlerinin değerlendirilmesi için uygun bir yöntemdir.