AI Summary & Key Takeaways
AI InsightTo overcome this problem, similar studies should be conducted in different fields, and policies should be developed that bring the stakeholders in the field to a reasonable middle ground.
📌 3 Key Takeaways
Abstract
This study, designed as an experiment, concerns the detection of whether academic texts are generated using artificial intelligence (AI). This situation, which is open to debate from an ethical and legal perspective, has become a significant problem for both authors and publishers today. The root cause of the problem is the use of AI in academic work, but what exacerbates and deepens the issue is the uncertainty surrounding at what stage and in what manner AI is used. AI detectors come into play here, attempting to resolve this uncertainty, but the functionality and reliability of this method is another topic of debate. The focus of the debate is that AI detectors give exaggerated rates against the author and/or produce false reports. In this two-stage study, document analysis was performed as a method in the context of content analysis. First, eight different AI applications (AI detectors) were asked to analyze the study text, which did not use AI technology at any stage of the writing process, and report whether it was written by a “human” or “AI.” In the second stage, the same text similarity ratio was scanned by two different programs to obtain a report on the plagiarism rate. According to the analysis results, despite different variables, AI detectors reported that the text was largely written by AI, while similarity scanning programs reported that the text's plagiarism rate was quite low. When this seemingly contradictory situation is evaluated, it is understood that AI detectors are mistaken in this regard and produce largely inaccurate reports. This situation demonstrates the need for all stakeholders in the academic production process to increase their awareness and behave more ethically. The original contribution of this study is that it draws attention to the need to clarify the positions of the perpetrator, the author, and AI, which should be a tool, in order to ensure that these processes are conducted in a more ethical and fair manner. To overcome this problem, similar studies should be conducted in different fields, and policies should be developed that bring the stakeholders in the field to a reasonable middle ground.
Özet
Deneysel bir süreç olarak kurgulanan bu çalışma, akademik metinlerin yapay zekâ (YZ) ile oluşturulup oluşturulmadığının tespitiyle ilgilidir.Etik ve hukuki açıdan tartışmaya açık olan bu durum günümüzde hem yazar hem de yayıncılar için önemli bir sorun hâline gelmiştir. Sorunun temel nedeni, akademik çalışmalarda YZ’nin kullanımıdır fakat sorunu büyüten ve derinleştiren durum, YZ’nin, çalışmanın hangi aşamasında ve hangi şekilde kullanıldığının belirsizliğidir. YZ detektörleri burada devreye girerek belirsizliği gidermeye çalışmaktadır fakat bu yöntemin işlevselliği ve güvenilirliği de bir başka tartışma konusudur. Tartışmanın odağı, YZ detektörlerinin yazar aleyhine abartılı oranlar vermesi ve/veya yanlış raporlama yapmasıdır. İki aşamadan oluşan çalışmada yöntem olarak içerik analizi bağlamında doküman incelemesi yapılmıştır. İlk önce, yazım süreçlerinin hiç bir aşamasında YZ teknolojisi kullanılmayan çalışma metnini, “insan” veya “YZ tarafından yazılmıştır” şeklinde raporlayan sekiz farklı YZ uygulamasından (YZ detektörü) analiz etmesi istenmiştir. İkinci aşamada, aynı metin benzerlik oranı için farklı iki program tarafından da taranarak intihal oranına yönelik rapor elde edilmiştir. Analiz sonucuna göre, farklı değişkenler olsa da YZ detektörleri metnin büyük oranda YZ tarafından yazıldığını, benzerlik taraması yapan programlar ise metnin intihal oranının oldukça düşük olduğunu raporlamıştır. Çelişkili görünen bu durum değerlendirildiğinde, YZ detektörlerinin bu konuda yanıldığı ve büyük oranda hatalı raporlamalar yaptığı anlaşılmaktadır. Bu durum, akademik üretim sürecindeki tüm paydaşların farkındalığını artırarak daha ilkeli davranması gerektiğini göstermektedir. Çalışmanın özgün katkısı, söz konusu süreçlerin etik ve adalete daha uygun şekilde yürütülmesi için fail olan yazar ve bir araç olması gereken YZ’nin konumlarının doğru biçimde netleştirilmesinin gerekliliğine dikkat çekmesidir. Sorunu aşmak için, farklı alanlarda benzer çalışmaların yapılması ve alanın paydaşlarını makul bir orta noktada buluşturacak politikalar geliştirilmesi gerekmektedir.