Alternative Agreement Approaches in Testing the Agreement of Three-dimensional Computerized Tomography Measurements of Styloid Processes by Two Observers at Two Different Times*

Stiloid Proseslerin İki Farklı Zamanda İki Değerlendirici Tarafından Alınan Üç Boyutlu Bilgisayarlı Tomografi Ölçümlerinin Uyumunun Test Edilmesinde Alternatif Uyum Yaklaşımları

Yüksel Balcı, Anıl Özgür, Sermin Tok Umay, Kaan Esen, Semra Erdoğan, Gülhan Temel

Abstract

Aim: This study aimed to evaluate the intraobserver and interobserver agreement of styloid process(SP) measurements on three-dimensional (3D) computerized tomography (CT) images between twoexperienced radiologists by using the concordance correlation coefficient (CCC) and coefficient ofindividual agreement (CIA) agreement statistical methods.Materials and Methods: Contrast-enhanced carotid CT angiography images of 68 patients, performed between June 2015 and December 2015, were evaluated retrospectively. The length betweenthe attachment point of the SP to the temporal bone and the distal end was measured on 3D CTimages performed with a 64-slice CT scanner. Both the agreements between the two radiologistsand the replicated measurements of each radiologist were calculated with the help of CIA and CCCagreement indexes.Results: When CIA was used for agreement statistics, the two radiologists disagreed in the right andleft measurements of the individual. When the CCC agreement statistic was used, there was a perfectagreement between the measurements of the two radiologists.Discussion and Conclusion: The variance values of between-subject and within-subject should betaken into consideration for each observer in cases of two replicated measurements. If these valuesshow very large differences from each other, CCCtotal values may have been calculated larger thanthe real value. However, the CIA statistics value is more stable and when such a case is encountered,researchers are advised that between-subject and within-subject variances should be calculated dueto the differences between the two replicated measurements of each observer. Therefore, the 2 2B Wrate should absolutely be taken into consideration.

Özet

Amaç: Bu çalışmada üç boyutlu bilgisayarlı tomografi (BT) görüntüleri üzerinde iki deneyimli radyolog tarafından alınan stiloid proses (SP) ölçümlerinin değerlendiriciler arası ve değerlendirici içi uyumunu, uyum istatistik yöntemleri olan konkordans korelasyon katsayısı (concordance correlation coefficient—CCC) ve birey uyum katsayısı (coefficient of individual agreement—CIA) metotları kullanılarak değerlendirilmesi amaçlanmıştır. Gereç ve Yöntemler: Haziran 2015—Aralık 2015 döneminden, 68 hastaya ait kontrastlı karotis BT anjiyografi görüntüleri geriye dönük olarak incelendi. SP temporal kemiğe tutunma noktası ve distal ucu arasındaki mesafe, 64 kesitli bir BT cihazı ile gerçekleştirilen üç boyutlu BT görüntülerinde ölçüldü. Radyologlar arasındaki ve radyologların kendi tekrarlı ölçümleri arasındaki uyum, CIA ve CCC uyum indekslerinden yararlanılarak hesaplandı. Bulgular: Uyum istatistikleri olarak CIA kullanıldığında, bireylerin sağ ve sol ölçümlerinde iki radyolog arasında uyum bulunmadı. CCC uyum istatistiği kullanıldığında ise iki radyoloğun tekrarlı ölçümleri arasında mükemmel bir uyum bulundu. Tartışma ve Sonuç: Her bir değerlendiriciden iki tekrarlı ölçüm alındığında, denekler arası ve denekler içi varyans değerlerinin dikkate alınması gerekmektedir. Eğer bu değerler birbirinden oldukça büyük farklılıklar gösteriyorsa, CCCtotal değerleri gerçek değerden daha büyük bir değer olarak hesaplanacak ve elde edilen bu sonuçlar araştırmacıları yanıltacaktır. Böyle bir durumla karşılaşıldığında, CIA istatistiğinin çok daha kararlı olduğu ve denekler arası ve denekler içi varyans değerlerinin, her bir değerlendiricinin iki tekrarlı ölçümleri arasındaki farklılıklar üzerinden hesaplanması gerektiği araştırmacılara önerilir. Böylece, 2 2B W oranı mutlakadikkate alınmalıdır.