Determining the sample size in agreement studies

Abstract

Objective: Before beginning method comparison studies inclinical researches, all the researchers share a common problem.That is: how to determine the sample size. The aim of this studyis to identify the sample size calculation steps for the consistencystatistics used in the identification of the agreement betweenthe raters/methods; and to present practical tables belonging tothe minimum sample numbers required, before researchers startclinical trials.Materials and Methods: In this study, the steps of samplesize calculation have been given for cases where there is noinformation on neither the population nor the consistency amongthe raters. Tables have been formed for Cohen Kappa and Intraclasscorrelation coefficient. Besides, other steps of sample numbercalculation have been given by utilizing a common formulationused for all consistency statistics by Gwet and practical tables havebeen presented.Results: When the tables are studied, no matter what theimportance level and the test power is, the sample numberincreases while inconsistency rate between the two raters increasesup to 0.50; and the sample number shows a symmetrical decreasewhile inconsistency rate between the two raters shows an increasefrom 0.50 through 1. Moreover, as the consistency value betweenthe raters rise, no matter what the test power and the importancelevel is, the sample size to be included in the study decreases indirect proportion.Conclusion: Before beginning a research study, with the exactdetermination of the minimum number of samples enough forthe design of the study and the state of the final variable, besidesproving reliability of the results of the study, sampling waste willalso be prevented.

Özet

Amaç: Klinik araştırmalarda metot karşılaştırması çalışmalarınabaşlamadan önce tüm araştırmacıların problem yaşadığı şey nekadar örneklem büyüklüğü ile çalışılmasıdır. Bu çalışmanın amacı,değerlendiriciler / yöntemler arasındaki uyumun belirlenmesindekullanılan uyum istatistikleri için örneklem büyüklüğününhesaplanma adımlarını tanımlamak, klinik çalışmalar içinaraştırmacılara araştırmaya başlamadan önce gerekli olanminimum örneklem sayılarına ait pratik tablolar sunmaktır.Gereçler ve Yöntemler: Bu çalışmada, populasyona aitbir bilgi olmadığı durumda ve değerlendiriciler arası uyumbilindiğinde örneklem büyüklüğünün hesaplama adımlarıverilmiştir. Cohen Kappa ve Sınıf içi korelasyon katsayısı içintablolar oluşturulmuştur. Ayrıca Gwet tarafından tüm uyumistatistikleri için kullanılabilecek ortak bir formülasyondanyararlanılarak da örneklem büyüklüğü hesaplama adımları verilmişve pratik tablolar sunulmuştur.Bulgular: Tablolar incelendiğinde, önem seviyesi ve testingücü ne olursa olsun iki değerlendirici arasındaki uyumsuzluğunoranı 0.50’ye kadar artış gösterirken örneklem büyüklüğü deartmakta, 0.50’den 1’e doğru artış gösterirken simetrik olarak birazalış göstermektedir. Bunun yanı sıra, değerlendiriciler arasındakiuyum değeri arttıkça testin gücü ve önem seviyesi ne olursa olsundoğru orantılı olarak çalışmaya dahil edilecek olan örneklem sayısıda azalmaktadır.Sonuç: Bir araştırma çalışmasının başlangıcında, çalışmanıntasarımına ve sonuç değişkeninin durumuna uygun olan yeterliminimum örneklem sayısının doğru olarak belirlenmesi ile,çalışma sonuçlarının güvenilirliği sağlanmış olmasının yanında,örneklem israfının da önüne geçilmiş olacaktır.

Keywords: Metot karşılaştırması, Değerlendiriciler arası uyum, Örneklem büyüklüğü