AI Summary & Key Takeaways
AI InsightAny model meant to function soundly should first avoid this error; for models in sensitive fields like the Quran and religion, particular care should be taken to provide an applicable principle and matching sources.
📌 3 Key Takeaways
Abstract
KuranGPT, built on ChatGPT’s infrastructure, is a highly popular artificial intelligence assistant with over 100,000 conversations. The model presents a strictly Quranist profile, claiming to rely solely on the Quran and to derive even word meanings from verse contexts. Yet no model answering in Turkish can apply this principle, and the model was moreover loaded with a file of Quranic translations contradicting it. This study systematically sets out the model’s inconsistencies of principle, source and practice. Given its popularity, identifying them matters for users and developers. In this case study, the model was tested by a gradual questioning method of 81 questions on jurisprudential (prayer times, Friday prayer), theological (istiwa), lexical and terminological (salat, ruku, sujud) matters. To superficial questions, it seemed to apply its principle, giving Quranist answers. As questioning deepened, however, it broke its principle, used extra-Quranic sources and was not transparent about them. Unable to apply its principle, it strung together verses, some unrelated, to persuade the user, creating a false sense of certainty, and adjusted its stance to user expectations. Although scholars can detect this misleading conduct, it poses a serious problem for other users. Some problems stem from the nature of large language models, but the way the principle and source were set is a design error. Any model meant to function soundly should first avoid this error; for models in sensitive fields like the Quran and religion, particular care should be taken to provide an applicable principle and matching sources.
Özet
ChatGPT altyapısı kullanılarak oluşturulan KuranGPT, üzerinde yüz bini aşkın yazışma yapılmış, oldukça popüler bir yapay zekâ asistanıdır. Model, yalnız Kur’an’a dayandığını beyan etmekte; hatta kelime anlamlarını dahi Kur’an’ın iç bağlamından çıkardığını belirterek katı Kur’ancı bir portre çizmektedir. Hâlbuki bu, Türkçe cevap üreten bir model için uygulanamaz bir ilkedir. Üstelik modele bu ilkeyle çelişen, meal içeren bir kaynak yüklenmiştir. Bu çalışmanın amacı, modelin ilke, kaynak ve uygulama tutarsızlıklarını sistematik biçimde ortaya koymaktır. Modelin popülaritesi göz önünde bulundurulduğunda, bu tutarsızlıkların tespiti hem kullanıcılar hem de geliştiriciler açısından ehemmiyet arz etmektedir. Bu çalışma, modelin seksen bir soruluk kademeli bir sorgulama yöntemiyle fıkhî (namaz vakitleri, Cuma namazı), kelâmî (istivâ), lügavî ve ıstılahî (salât, rükû, secde) açılardan sınandığı bir durum çalışmasıdır. Model, yüzeysel sorularda ilkesini uygular gibi görünmüş ve Kur’ancılık yaklaşımına uygun cevaplar üretmiştir. Ancak sorgulama derinleştikçe modelin ilkeye uyamadığı, Kur’an dışı kaynaklara başvurduğu ve kaynak beyanında şeffaf davranmadığı ortaya çıkmıştır. Ayrıca ilkesini uygulayamadıkça kullanıcıyı ikna etmek için bir kısmı meseleyle ilgili olmayan âyetleri peş peşe sıralayarak sahte bir kesinlik algısı yaratmış ve kullanıcının beklentisine göre tavır değiştirmiştir. Bu yanıltıcı tavır, ilim adamları tarafından ayırt edilebilecek olsa da diğer kullanıcılar için ciddi problem teşkil etmektedir. Modelle ilgili sorunlardan bir kısmı büyük dil modellerinin doğasından kaynaklanmaktadır. İlke ve kaynağın bu şekilde belirlenmesinde ise tasarım hatası söz konusudur. Dolayısıyla bir modelin sağlıklı çalışması isteniyorsa öncelikli olarak bu tasarım hatasından kaçınılmalı; özellikle Kur’an ve din gibi hassas alanlarda geliştirilen modellere, uygulanabilecek bir ilke ve bu ilkeyle uyumlu kaynaklar yüklenmesine itina gösterilmelidir.