AI Summary & Key Takeaways
AI InsightResults indicate that while the LLMs employed conscious strategies to preserve cultural specificity, they often failed to fully capture the contextual depth of certain concepts.
📌 3 Key Takeaways
Abstract
This study offers a comparative evaluation of three Large Language Models (LLMs)—Deepseek-V3, Grok 3 Fast, and Qwen3-235B-A22B—regarding their ability to translate culturally bound concrete Turkish concepts into English. To ensure reproducibility, accessibility, and equivalence, free versions of the models were used, and identical prompts were employed for all translation tasks. Four culturally specific terms—kına gecesi, bacanak, lahmacun, and mevlit—were selected, embedded within fictional literary excerpts. Each model’s output was qualitatively assessed using eight criteria: cultural appropriateness, functional equivalence, localization, fidelity, emotional equivalence, contextual fit, acceptability, and semantic loss. The qualitative findings were converted into numerical values through an analytic rubric-based scoring method. Results indicate that while the LLMs employed conscious strategies to preserve cultural specificity, they often failed to fully capture the contextual depth of certain concepts. Grok 3 Fast stood out for maintaining cultural terms and ensuring contextual coherence; Qwen3-235B-A22B excelled in emotional tone and creative translation strategies; Deepseek-V3 showed strong textual fidelity. Overall, the findings reveal that LLMs still face challenges in balancing linguistic accuracy with contextual equivalence in cross-cultural translation. The study suggests enhancing annotated corpora, improving contextual analysis capabilities, and developing hybrid evaluation methods involving both AI and human experts.
Özet
Bu çalışmada; Deepseek-V3, Grok 3 Fast ve Qwen3-235B-A22B adlı Büyük Dil Modellerinin (BDM) kültür-bağımlı somut Türkçe kavramları İngilizceye aktarma yeterlilikleri karşılaştırmalı olarak değerlendirilmiştir. Değerlendirmede tekrar edilebilirlik, erişim ve eşdeğerlik açısından yapay zekâların ücretsiz sürümleri tercih edilmiş, çeviri sorgularında aynı yönlendirici girdi (prompt) kullanılmıştır. Araştırmada “kına gecesi”, “bacanak”, “lahmacun” ve “mevlit” olmak üzere dört kültürel kavram seçilmiştir. Bu kavramların yer aldığı kaynak metin parçaları kurgusal yazın metinlerden alınmıştır. BDM’lerin her bir çeviri çıktısı kültürel uygunluk, işlevsel denklik, yerelleştirme, sadakat, duygusal eşdeğerlik, bağlamsal uyum, kabul edilebilirlik ve anlam kaybı ölçütleri açısından nitel olarak değerlendirilmiş, nitel değerlendirmeler sonucu ortaya çıkan bulgu ve gözlemler analitik rubrik temelli puanlama yöntemiyle sayısal değerlere dönüştürülmüştür. Bulgular, BDM'lerin kültürel özgünlüğü koruma yönünde bilinçli stratejiler geliştirdiğini ancak bazı kavramların bağlamsal derinliğini eksik yansıttığını göstermektedir. Grok 3 Fast kültürel terimleri koruma ve bağlamsal uyum sağlama açısından; Qwen3-235B-A22B duygusal ton aktarımı ve yaratıcı çeviri stratejileri açısından; Deepseek-V3 ise metinsel sadakat açısından öne çıkan modeller olmuştur. Çalışma, BDM'lerin kültürlerarası çeviride dilsel doğrulukla bağlamsal eşdeğerlik arasında denge kurma konusunda sınırlılıklar bulunduğunu ortaya koymaktadır. Bu bağlamda, BDM’lerin iyi düzeyde çeviri yapabilmeleri için açıklamalı veri tabanlarının oluşturulması, bağlamsal çözümleme kapasitesinin güçlendirilmesi ve insan uzmanlarla yapay zekâ arasında melez değerlendirme süreçlerinin geliştirilmesi gerektiği anlaşılmıştır.