Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightBulgular: Bulgular, tüm modellerin genel olarak doğru yanıtlar üretmekle birlikte açıklamaların çoğu zaman sınırlı ve yüzeysel kaldığını göstermektedir.
📌 3 Maddede Bu Makale
Özet
Arka Plan: Bu çalışma, uluslararası koruma statüsüne ilişkin temel kavram ve süreçlerin açıklanmasında yapay zekâ sohbet robotlarının performansını karşılaştırmalı olarak değerlendirmeyi amaçlamaktadır. Araştırma kapsamında, uluslararası koruma statüsüne ilişkin 10 soruluk bir soru seti Ekim 2025’te OpenAI tarafından geliştirilen ChatGPT-5, Google Gemini 2.5 Flash ve Microsoft Copilot Think Deeper modellerine yöneltilmiştir. Amaç: Modeller tarafından üretilen ilk yanıtlar, göç alanında uzman beş akademisyen tarafından kör değerlendirme yöntemiyle puanlanmıştır. Değerlendirme süreci, Birleşmiş Milletler Mülteciler Yüksek Komiserliği tarafından geliştirilen Uluslararası Koruma Kılavuzları ve Mülteci Statüsünün Belirlenmesine İlişkin Usul ve Kriterler El Kitabı esas alınarak yürütülmüştür. Yöntem: Yanıtlar doğruluk ve kapsamlılık ölçütleri temelinde beşli Likert tipi ölçek kullanılarak değerlendirilmiştir. Elde edilen verilerin analizinde değerlendiriciler arası uyumu belirlemek amacıyla Kendall’ın W katsayısı kullanılmış; yapay zekâ modelleri arasındaki farklılıkların test edilmesinde ise Friedman testi uygulanmıştır. Bulgular: Bulgular, tüm modellerin genel olarak doğru yanıtlar üretmekle birlikte açıklamaların çoğu zaman sınırlı ve yüzeysel kaldığını göstermektedir. ChatGPT’nin ortalama puanlarının diğer modellere kıyasla daha yüksek olduğu saptanmış; ancak özellikle “tamamlayıcı koruma” gibi hukuki yoruma açık kavramlarda modeller arasında anlamlı farklılıklar bulunduğu belirlenmiştir. Sonuç: Sonuç olarak, yapay zekâ sohbet robotlarının uluslararası koruma alanında temel bilgilere hızlı erişim sağlayan yardımcı araçlar olarak işlev görebileceği; ancak hak temelli ve hukuki sonuç doğuran bireysel başvuru süreçlerinde uzman değerlendirmesinin yerini alamayacağı sonucuna ulaşılmıştır. onucuna varılmıştır.
Abstract
Background: This study aims to comparatively evaluate the performance of artificial intelligence chatbots in explaining fundamental concepts and processes related to international protection status. Within the scope of the research, a set of 10 questions related to international protection status was posed to the OpenAI ChatGPT-5, Google Gemini 2.5 Flash, and Microsoft Copilot Think Deeper models in October 2025. Objective: The initial responses generated by the models were scored by five academics specialising in migration using a blind evaluation method. The evaluation process was based on the Handbook on Procedures and Criteria for Determining Refugee Status and Guidelines on International Protection developed by the United Nations High Commissioner for Refugees (UNHCR). Method: The responses were evaluated on a five-point scale according to their accuracy and comprehensiveness. Kendall's W coefficient was used to determine inter-rater agreement in the analysis of the data obtained, while the Friedman test was used to test the differences between the artificial intelligence models. Results: The findings show that all models are generally accurate but often provide limited and superficial explanations. It was found that ChatGPT's average scores were higher than those of other models, but there were significant differences between models, particularly in concepts open to legal interpretation, such as “complementary protection”. Conclusion: Consequently, it was concluded that artificial intelligence chatbots could serve as auxiliary tools providing rapid access to fundamental information in the field of international protection, but could not replace expert assessment in rights-based and legally consequential individual application processes.