AI Summary & Key Takeaways
AI InsightIt was found that the differences between Copilot and DeepSeek were not statistically significant (p=1.0), indicating that the training processes of these two models are similar, resulting in more consistent results.
📌 3 Key Takeaways
Abstract
This study compares the performance of the artificial intelligence models ChatGPT, Gemini, Copilot, and DeepSeek for the 2025 Presidency of Religious Affairs (PRA) High Specialization Examination. As the role of artificial intelligence technology in education increases, the effectiveness of these systems in examination processes is gaining more importance. The study evaluates the accuracy rates and consistency between models by examining the answers provided by each AI model to 100 questions. The results of the research reveal that each model exhibits different levels of success in the examination. Gemini demonstrated the highest performance with an accuracy rate of 89%. This model achieved high accuracy rates in areas that require deep knowledge, such as Arabic Grammar, Fiqh, and Tafsir. Copilot and DeepSeek both achieved accuracy rates of 80%, showing similar performance. ChatGPT, on the other hand, exhibited the lowest performance with a 63% accuracy rate compared to the other models. ChatGPT's low performance in areas such as Fiqh, Hadith, and Kalam may be related to the model's level of expertise in these fields. This situation may be linked to the quality of the training data or the field's requirement for deep and contextual knowledge; however, since the current study did not directly analyze the training data, this issue should be evaluated at the level of interpretation. The study also examined the agreement rates between the AI models. A high agreement rate of 79% was observed between Gemini and DeepSeek, while the agreement rates between ChatGPT and the other models ranged from 44% to 59%. This situation suggests that ChatGPT exhibits greater inconsistency compared to other models and performs less well on questions requiring domain knowledge. Differences between models may be related to the scope of the datasets used and differences in model design. However, since this study did not directly measure these variables, this explanation should be considered one possible interpretation. Although many studies have been conducted on the potential of AI systems in education, there is limited research on how these systems perform in examination processes. This study compares four different AI models and evaluates the examination performance of each model. The importance of using AI in education is emphasized, and it is stated that these systems should be made more efficient. In particular, training AI systems with larger and updated datasets may improve their success in examinations. The study is supported by statistical analyses using the Pearson Chi-square test and the Yates Chi-square test. These analyses revealed that the performance differences between ChatGPT and the other models were significant (p<0.05). It was specifically highlighted that the difference between ChatGPT and Gemini was highly significant (p=0.000035). It was found that the differences between Copilot and DeepSeek were not statistically significant (p=1.0), indicating that the training processes of these two models are similar, resulting in more consistent results. In conclusion, this study has revealed the potential of AI systems in education and examination the strengths and weaknesses of each model in detail. The findings suggest that AI systems need to be further developed to be more effective in examination processes. It is emphasized that to succeed in areas requiring deep knowledge, AI models should be optimized with subject-specific training sets.
Özet
Bu çalışma, 2025 yılı Diyanet İşleri Başkanlığı (DİB) Yüksek İhtisas Sınavı’na yönelik olarak ChatGPT, Gemini, Copilot ve DeepSeek yapay zeka modellerinin sınav performanslarını karşılaştırmaktadır. Yapay zeka teknolojisinin eğitimdeki önemi arttıkça, bu sistemlerin sınav süreçlerindeki etkinliği de daha fazla dikkat çekmektedir. Çalışma, her bir yapay zeka modelinin 100 soruya verdiği yanıtları değerlendirerek doğruluk oranları ve modeller arası tutarlılıkları incelemiştir. Araştırmanın sonuçları, her modelin sınavda farklı başarılar gösterdiğini ortaya koymuştur. Gemini, %89 doğruluk oranı ile en yüksek başarıyı elde etmiştir. Bu model, Arapça Dilbilgisi, Fıkıh ve Tefsir gibi bilgi yoğun alanlarda yüksek doğruluk sağlamıştır. Copilot ve DeepSeek ise sırasıyla %80 doğruluk oranlarına ulaşmış, benzer başarılar göstermiştir. ChatGPT ise %63 doğruluk oranı ile diğer modellere göre daha düşük performans sergilemiştir. ChatGPT’nin özellikle Fıkıh, Hadis ve Kelam gibi alanlarda düşük başarı göstermesi, modelin bu alanlardaki uzmanlık düzeyiyle ilişkili olabilir. Bu durum, eğitim verisinin niteliği veya alanın derin ve bağlamsal bilgi gerektirmesiyle bağlantılı olarak düşünülebilir; ancak mevcut çalışma doğrudan eğitim verisini analiz etmediğinden, bu husus yorum düzeyinde değerlendirilmelidir. Araştırmada yapay zeka modelleri arasındaki anlaşma oranları da incelenmiştir. Gemini ve DeepSeek arasında %79’luk yüksek bir anlaşma gözlemlenirken, ChatGPT ile diğer modeller arasındaki anlaşma oranı %44 ile %59 arasında değişmiştir. Bu durum, ChatGPT'nin diğer modellere göre daha fazla tutarsızlık gösterdiğini ve alan bilgisi gerektiren sorularda daha düşük performans sergilediğini düşündürmektedir. Modeller arasındaki farklar, kullanılan veri setlerinin kapsamı ve model tasarımlarındaki farklılıklarla ilişkili olabilir. Ancak bu çalışma söz konusu değişkenleri doğrudan ölçmediğinden, bu açıklama olası yorumlardan biri olarak değerlendirilmelidir. Yapay zeka sistemlerinin eğitimdeki potansiyeli ile ilgili birçok çalışma bulunmasına rağmen, sınav süreçlerindeki performansları konusunda daha az araştırma yapılmıştır. Bu çalışma, dört yapay zeka modelini karşılaştırarak her birinin sınav performansını değerlendirmektedir. Eğitimde yapay zeka kullanımının önemi vurgulanmış ve bu tür sistemlerin daha verimli hale getirilmesi gerektiği ifade edilmiştir. Özellikle, yapay zeka sistemlerinin daha büyük ve güncel veri setleriyle eğitilmesi, sınavlardaki başarıyı artırabilir. Çalışma, Pearson Ki-kare testi ve Yates Ki-kare testi kullanılarak yapılan istatistiksel analizlerle desteklenmiştir. Bu analizler, ChatGPT ile diğer modeller arasındaki performans farklarının anlamlı olduğunu ortaya koymuştur (p<0.05). Özellikle, ChatGPT ve Gemini arasındaki farkın çok anlamlı olduğu (p=0.000035) vurgulanmıştır. Copilot ve DeepSeek arasındaki farkların ise istatistiksel olarak anlamlı olmadığı (p=1.0) tespit edilmiştir. Sonuç olarak, bu çalışma yapay zeka sistemlerinin eğitimdeki kullanım potansiyelini ortaya koymuş ve her modelin güçlü ve zayıf yönlerini incelemiştir. Elde edilen bulgular, yapay zeka sistemlerinin sınav süreçlerinde daha etkili kullanılabilmesi için geliştirilmesi gerektiğini göstermektedir. Derin bilgi gerektiren konularda başarılı olmak için, yapay zeka modellerinin konuya özel eğitim setleriyle optimize edilmesi gerektiği vurgulanmıştır.