AI Summary & Key Takeaways
AI InsightThe study concludes by outlining a staged validation roadmap encompassing expert review, cognitive interviews, pilot implementations, inter-rater reliability analyses, and examinations of construct distinctiveness.
📌 3 Key Takeaways
Abstract
Journalism students’ use of generative artificial intelligence (AI) raises new questions about how professional competencies should be assessed. Students’ use of AI needs to be considered separately from its curricular integration, which may vary across higher education institutions. This study addresses the insufficiently clarified relationship between AI-mediated professional competencies and the learning evidence used to demonstrate these competencies through the concept of the Assessment Gap. It argues that technical safeguards alone may be insufficient to support valid inferences about professional competencies and that the constructs underlying assessment, along with their associated evidence, need to be theoretically defined. Drawing on an integrative conceptual review of the literature on assessment theory, AI literacy, journalism studies, human–automation interaction, and multiliteracies, the study proposes the Journalism AI Competency Assessment Framework (JACA-F). The framework identifies five candidate constructs: algorithmic skepticism, ethical resistance, metacognitive reasoning, human–AI agency calibration, and news judgment under AI-mediated conditions. These constructs are organized into three dimensions—Process, Reflexivity, and Ethics—and linked to interaction logs, curated portfolio artifacts, oral interviews, and scenario-based tasks. A construct derivation matrix makes the conceptual relationships explicit, while an illustrative analytic rubric describes observable behaviors across four performance levels. Brief, structured process logs and cross-evidence verification are proposed as strategies for reducing assessment workload and mitigating risks associated with fabricated process records; however, their effectiveness remains to be empirically tested. The proposed framework is not a psychometrically validated assessment instrument. The study concludes by outlining a staged validation roadmap encompassing expert review, cognitive interviews, pilot implementations, inter-rater reliability analyses, and examinations of construct distinctiveness.
Özet
Gazetecilik öğrencilerinin üretken yapay zekâ kullanımı, mesleki yetkinliklerin nasıl değerlendirileceğine ilişkin yeni soruları gündeme getirmektedir. Öğrencilerin yapay zekâ kullanımının, yükseköğretim kurumları arasında farklılık gösterebilen müfredat entegrasyonundan ayrı ele alınması gerekmektedir. Bu çalışma, yapay zekâ destekli mesleki yetkinlikler ile bu yetkinliklerin kazanıldığını gösteren öğrenme kanıtları arasındaki yeterince açıklığa kavuşturulmamış ilişkiyi “Değerlendirme Boşluğu” kavramıyla ele almaktadır. Çalışmada, teknik önlemlerin mesleki yetkinliklerin geçerli biçimde değerlendirilmesi için tek başına yeterli olmadığı, değerlendirmeye esas alınacak yapıların ve bunlarla ilişkili kanıtların kuramsal olarak tanımlanması gerektiği ileri sürülmektedir. Değerlendirme kuramı, yapay zekâ okuryazarlığı, gazetecilik çalışmaları, insan-otomasyon etkileşimi ve çoklu okuryazarlık alanlarındaki literatürün bütünleştirici bir yaklaşımla incelenmesi sonucunda Gazetecilik Yapay Zekâ Yetkinlik Değerlendirme Çerçevesi (JACA-F) geliştirilmiştir. Çerçevede algoritmik şüphecilik, etik direnç, üstbilişsel akıl yürütme, insan-yapay zekâ eyleyiciliğinin kalibrasyonu ve yapay zekâ kullanım koşullarında habercilik yargısı olmak üzere beş aday yapı tanımlanmıştır. Bu yapılar süreç, yansıtıcılık ve etik olmak üzere üç boyutta düzenlenmiş; etkileşim günlükleri, seçilmiş portföy kayıtları, sözlü görüşmeler ve senaryo temelli görevlerle ilişkilendirilmiştir. Oluşturulan yapı türetim matrisi, kavramlar arasındaki ilişkileri görünür kılarken örnek analitik dereceli puanlama anahtarı, gözlemlenebilir davranışları dört performans düzeyinde tanımlamaktadır. Kısa ve yapılandırılmış süreç günlüklerinin kullanılması ile farklı kanıt kaynaklarının karşılaştırılarak doğrulanması, değerlendirme iş yükünü azaltmaya ve gerçeği yansıtmayan süreç kayıtlarından kaynaklanabilecek riskleri sınırlandırmaya yönelik, etkililiği henüz sınanmamış öneriler olarak sunulmaktadır. Geliştirilen çerçeve, psikometrik özellikleri doğrulanmış bir ölçme aracı niteliği taşımamaktadır. Çalışma, uzman değerlendirmesi, bilişsel görüşmeler, pilot uygulamalar, puanlayıcılar arası güvenirlik analizleri ve yapıların birbirinden ayırt edilebilirliğinin incelenmesini içeren aşamalı bir geçerlik ve güvenirlik değerlendirme yol haritasının sunulmasıyla tamamlanmaktadır.