AI Summary & Key Takeaways
AI InsightResults demonstrate substantial improvement, with total error scores reduced by 63.04% for the first video and 53.40% for the second.
📌 3 Key Takeaways
Abstract
As climate change communication increasingly relies on digital media, the quality of machine-translated subtitles becomes a critical factor in preventing misinformation. This study investigates the quality of English–Turkish machine-translated subtitles in climate change communication, a domain characterized by technical terminology and the need for high semantic precision. Focusing on two Intergovernmental Panel on Climate Change (IPCC) videos released in 2013 and 2022, we conduct a longitudinal analysis comparing their automatic subtitles from 2022 and 2025. Using Jan Pedersen’s (2017) FAR model—which assesses functional equivalence (semantic and stylistic accuracy), acceptability (grammatical and idiomatic correctness), and readability (technical presentation)—we offer a systematic assessment of translation quality and analyze how advances in machine translation (MT) have affected subtitle accuracy, fluency, and usability. Results demonstrate substantial improvement, with total error scores reduced by 63.04% for the first video and 53.40% for the second. These gains were uneven: the largest reduction in errors was in readability for the first video (73.77%) and in acceptability for the second (76.25%), while functional equivalence showed more limited progress (27.91%-53.18%) and remained the leading source of errors in 2025, with persistent issues in conveying nuanced meaning. The findings have implications for automated subtitle practices, translator training, and sustainability-focused media strategies. We argue that for producers of climate communication, a shift towards “a human-centered augmented translation” (O’Brien, 2023) model is necessary to reduce the risk of misinformation and improve the effectiveness of climate communication. Furthermore, for consumers, we contend that translation literacy, specifically MT literacy, is not merely a technical skill but a fundamental public competency, crucial for ensuring accessible and trustworthy communication. We recommend fostering this skill through educational initiatives beyond translation programs such as targeted workshops, short modules in relevant courses, and cross-departmental certificate options. This, in turn, will facilitate the capacity of non-specialist audiences to critically assess and comprehend MT-mediated digital content broadly, and information pertaining to climate conveyed via this modality specifically. The study highlights the role of high-quality translation in strengthening global climate literacy and supporting informed policy engagement by linking the evaluation of MT with environmental communication.
Özet
İklim değişikliği alanındaki iletişim giderek dijital medyaya daha fazla bağlı hâle gelirken, makine çevirisi (MÇ) altyazılarının kalitesi yanlış bilgilendirmenin önlenmesinde kritik rol oynamaktadır. Bu çalışma, teknik terminoloji açısından yoğun olan ve anlamsal açıdan yüksek hassasiyet gerektiren bu alanda İngilizce–Türkçe MÇ altyazılarının kalitesini incelemektedir. Bu kapsamda Hükümetlerarası İklim Değişikliği Paneli’nin (IPCC) 2013 ve 2022 yıllarında yayınlanan iki videosunun 2022 ve 2025 yıllarına ait otomatik altyazıları karşılaştırmalı ve boylamsal olarak analiz edilmiştir. Jan Pedersen’in (2017) işlevsel eşdeğerliği (anlamsal ve biçemsel doğruluk), kabul edilebilirliği (dilbilgisi, yazım ve dilin ifade özellikleri açısından uygunluk) ve okunabilirliği (teknik özellikler) ölçen FAR modeli kullanılarak altyazı kalitesi sistematik biçimde değerlendirilmiş; MÇ’deki gelişmelerin altyazı doğruluğu, akıcılığı ve kullanılabilirliği üzerindeki etkisi incelenmiştir. Bulgular, altyazı kalitesinde belirgin bir iyileşme olduğunu göstermektedir: ilk videoda toplam hata oranı %63,04, ikinci videoda ise %53,40 oranında azalmıştır. Bu iyileşmeler eşit dağılmamıştır; birinci videoda en yüksek azalma okunurlukta (%73,77), ikinci videoda ise kabul edilebilirlikte (%76,25) gözlemlenmiştir. İşlevsel eşdeğerlik ise daha sınırlı bir ilerleme göstermiş (birinci videoda %53,18, ikinci videoda %27,91) ve 2025 altyazılarında da en yüksek hata puanına sebep olan tür olmaya devam etmiştir; bu durum, incelikli anlam aktarımında kalıcı sorunların varlığını göstermektedir. Elde edilen bulgular, otomatik altyazılar, çevirmen eğitimi ve sürdürülebilirlik odaklı medya stratejileri açısından önemli çıkarımlar sunmaktadır. Çalışma ayrıca, iklim konusunda içerik üreten kurumlar için yanlış bilgilendirme riskini azaltacak ve iletişimin etkinliğini artıracak “insan merkezli iyileştirilmiş çeviri” modellerine (O’Brien, 2023) yönelmenin gerekliliğini savunmaktadır. Öte yandan, kullanıcılar açısından çeviri okuryazarlığı, özellikle de MÇ okuryazarlığı, yalnızca teknik bir beceriye değil, erişilebilir ve güvenilir iletişimi sağlamak için gerekli olan temel bir toplumsal edince karşılık gelmektedir. Bu edincin, çeviri programlarının ötesine geçen eğitim uygulamaları aracılığıyla (örn. hedefe yönelik atölyeler, ilgili derslere entegre edilen kısa modüller ve bölümler arası sertifika seçenekleri) teşvik edilmesi önerilmektedir. Böylelikle geniş kitlelerin, genel olarak MÇ aracılığıyla sunulan dijital içerikleri özel olarak da iklim konusundaki bu yolla aktarılan bilgileri eleştirel biçimde değerlendirip anlamalarına katkıda bulunabilecektir. Çalışma, MÇ değerlendirmesini çevre iletişimiyle ilişkilendirerek yüksek çeviri kalitesinin küresel iklim okuryazarlığını güçlendirmedeki ve bilinçli politika katılımını desteklemedeki rolünü vurgulamaktadır.