Implementation of Cognitive Diagnosis Modeling using the GDINA R Package

Abstract

Purpose: Well-designed assessment methodologies and various cognitive diagnosis models (CDMs) to extract diagnostic information about examinees’ individual strengths and weaknesses have been developed. Due to this novelty, as well as educational specialists’ lack of familiarity with CDMs, their applications are not widespread. This article aims at presenting the fundamentals of CDM and demonstrating the various implementations using a freeware R package, namely, the GDINA. Present article explains the basics of CDM and provide sufficient details on the implementations so that it may guide novice researchers in CDM applicationsResearch Methods: The manuscript starts with presenting the CDM terminology, including input and output of a CDM analysis. The introduction section is followed by generalized deterministic noisy and gate model framework. A brief description of the package GDINA is also provided. Then, numerical examples on various CDM analyses are provided using the R package with a graphical user interface. The paper is concluded by some additional functions and concluding remarks. Results and Implications for Research and Practice: Although other software programs are also available, using the GDINA package offers users some flexibilities such as allowing estimation of a wide range of CDMs and allowing nonprogrammers to benefit from this package through the GUI. In addition to ordinary CDM analyses, GDINA package further allows users to apply model selection at the test- and item-level to make sure that the most appropriate CDM (i.e., CDM that best explains the attribute interactions in the item) is fitted to the response data. Furthermore, to identify possible item-attribute specification mistakes in the Q-matrix, implementation of an empirical Q-matrix validation method is available in the GDINA package. Lastly, this package offers various handy graphs, which can be very useful in emphasizing important information and comparing various parameters and/or statistics.

Özet

Formatif değerlendirme için hazırlanmış olan ölçme araçları, amaçlı bir şekilde tasarlandığında, tanılayıcı bilgi toplamamıza imkân sağlarlar. Bu tür bilgilere dayanarak yapılan çıkarımlar eğitimcilerin telafi edici eylemler gerçekleştirmelerini sağlar. Son zamanlarda geliştirilen formatif değerlendirme yöntemleri öğrencilere ve öğretmenlere öğrencilerin hangi bilgi ve beceri parçacıklarına (bilişsel niteliklere) sahip oldukları ya da olmadıklarıyla ilgili ayrıntılı geri bildirim sağlayabilmektedir. Bu geribildirimlerin öğretimi ve öğrenmeyi optimize etmek amacıyla kullanılması beklenmektedir. Formatif ölçme ve değerlendirmelerin sonuçlarından tanısal bilgi edinebilmek için iyi tasarlanmış sınavların uygulanmasının yanı sıra çeşitli bilişsel tanı modellerinin kullanımına da ihtiyaç vardır. Ancak, bu modellerin alan yazına yeni kazandırılmış olması ve eğitimcilerin henüz yeterince aşina olmamaları nedeniyle, bilişsel tanı modellemelerinin (BTM) parametre kestirimlerinin ve diğer ilgili analizlerin uygulamaları yeterince yaygınlaşmamıştır.Bu makalenin amacı BTM’ye aşina olmayan eğitimci ve araştırmacılara BTM’nin temel prensiplerini tanıtmak ve ücretsiz bir yazılım olan GDINA R paketi kullanılarak yapılabilecek çeşitli BTM uygulamalarını yeterince detaylı olarak göstermektir. BTM analizleri yapan bazı yazılım programlarının mevcut olmasına rağmen, alanla ilgili en kapsamlı paketlerden biri olan GDINA R paketinin kullanımının sağlayacağı avantajlar arasında şunlar sayılabilir: (1) Birçok bilişsel tanı modelinin kestiriminin R ile mümkün olması; (2) Diğer birçok yazılım programlarının tek tip modelin kestirimine imkan veriyor olması; (3) Diğer programların çoğunun ticari olması veya ancak yazarın kendisiyle irtibat kurularak temin edilebilir olması; ve (4) Sözdizimi (sintaks) hazırlamanın bazı programlarda oldukça zahmet verici olması.Bu makalede öncelikle BTM analizinin girdi ve çıktıları da dahil olmak üzere BTM terminolojisi tartışılmakta, sonrasında GDINA model yapısı tanıtılmakta ve GDINA R paketi sunulmaktadır. Sonrasında ise nümerik bir örnek veri setinden yola çıkılarak, GDINA R paketi ve bu paketin sunduğu grafiksel kullanıcı ara yüzü (GUI: graphical user interface) kullanılarak yapılabilecek analiz türleri adım adım takip edilebilecek şekilde sunulmuştur. Ayrıca gerekli görülen noktalarda yapılan iş ve işlemlerin teorik bilgisine ve elde edilen sonuçların yorumlanmasına dair bilgiler verilmiştir. İlerleyen bölümlerde, GUI ile yapılamayan ancak GDINA paketinin sunduğu ve R kullanımına aşina olan kullanıcıların sözdizimi yazarak yapabilecekleri ilave analizlere ve paketin ek özelliklerine yer verilmiştir. Makalenin son bölümünde ise bazı hatırlatma ve tespitler yapılmıştır.G-DINA modeli ve GDINA paketiGenel ya da kısıtlanmış olarak birçok bilişsel tanı modelinin ayrımları öğrencinin maddeleri cevaplama sürecinde bilişsel niteliklerin (ölçülen bilgi ya da becerilerin) etkileşimlerine bağlı olarak yapılır. G-DINA gibi genel modellerde bütün ana etkiler ve etkileşim etkileri madde tepki fonksiyonuna katkıda bulunur. Bu tür genel modellerin parametrelerinde yapılacak kısıtlamalarla daha kısıtlı ya da daha sade modeller elde edilebilir. Bunun yanı sıra, genel modellerde birden farklı link fonksiyonlarının kullanımı da söz konusudur. Örneğin, G-DINA model identity, logit ve log linkleriyle farklı isimlerle sunulabilir, ancak farklı linklerle ortaya konulan genel modeller özdeş model-veri uyumuna sahiptirler. GDINA paketi GUI aracılığıyla farklı linkler altında oluşturulabilecek olan GDINA, logit GDINA, log GDINA’nın yanı sıra, bu genel modellerde ortaya koyulacak kısıtlamalarla oluşturulabilen DINA, DINO, ACDM, LLM, ve RRUM modellerinin kestirimine imkan verir. Ayrıca, GUI aracılığıyla olmasa da, R kullanımına aşina olan ve sözdizimi yazabilen kullanıcılar GDINA R paketini kullanarak farklı stratejilerin kullanımı durumunu göz önünde bulunduran MS-DINA ve G-DINA’nın farklı uzantılarından oluşan modellerin (ör. sınıflama ve sıralama ölçekleriyle elde edilen veriler için sequential G-DINA ve kısmi puanlamalı nitelikleri için polytomous G-DINA) kestirimini yapabilirler. GDINA'yı kullanarak, testi alanların nitelikleri kazanmış ya da kazanamamış olma durumlarıyla ilgili tanılayıcı bilgi; belirli bir niteliğin kazandırılma oranı; ve belirli bir profile sahip olan kişilerin oranı ile ilgili bilgiler elde edilebilir. Bunların dışında, temel CDM analizlerinin yanı sıra, madde ve nitelikler arasındaki etkileşimi en iyi açıklayan BTM’nin kullanılabilmesi adına GDINA paketi araştırmacıların test- ve madde-düzeyinde model seçimi yapabilmelerine imkan tanır. GDINA paketi aynı zamanda madde-nitelik eşleştirme matrisinde yapılabilecek muhtemel yanlışları ortaya çıkarmaya yardımcı olmak adına ampirik olarak Q-matrisin uygunluğunun doğrulamasını sağlayan metotların kullanılmasına imkan sağlar. Son olarak, bu paket, çeşitli kolay ve kullanışlı grafikler ortaya koyar. Bu grafikler elde edilen analiz sonuçlarında önemli noktaların vurgulanmasına ve elde edilen istatistik ve parametrelerin kolaylıkla karşılaştırılmasına olanak sağlar.