AI Summary & Key Takeaways
AI InsightThese findings offer important implications for the future role of AI technologies in public finance.
📌 3 Key Takeaways
Abstract
The use of artificial intelligence (AI) technologies in the public sector and finance has become a significant research topic in recent years. This study aims to evaluate the accuracy of AI models in providing and analyzing public budget data. In this research, the accuracy levels of six different AI models (ChatSonic, Claude, ChatGPT, Perplexity, Gemini, Copilot) in relation to the public budget data for the period 2009-2023 have been examined. Gemini and Copilot were excluded from the evaluation due to their inability to provide complete or reliable data. The ChatSonic and Claude models provided data closer to the actual values compared to ChatGPT and Perplexity. However, even the data provided by these models exhibited unacceptable discrepancies from the actual data, particularly in the revenue and expenditure categories. Furthermore, the models presented the expenditure data more accurately, while the error rate for revenue data was higher. Additionally, it was observed that accuracy was higher for older data, while error rates increased as the data approached more recent years. It was also found that the AI models did not account for fractions, which could result in significant discrepancies amounting to millions of Liras. The study reveals that while AI models are limited in meeting the high accuracy requirements for sensitive data such as public budgets. However, ChatSonic and Claude can provide more accurate data, holding potential as decision-making tools in future budgeting processes. These findings offer important implications for the future role of AI technologies in public finance.
Özet
Yapay zekâ (YZ) teknolojilerinin kamu sektörü ve maliye alanındaki kullanımı son yıllarda önemli bir araştırma konusu olmuştur. Bu çalışma, YZ modellerinin kamu bütçesi verilerini sağlama ve analiz etme süreçlerindeki doğruluklarını değerlendirmeyi amaçlamaktadır. Çalışmada, 2009-2023 dönemi için altı farklı YZ modelinin (ChatSonic, Claude, ChatGPT, Perplexity, Gemini, Copilot) kamu bütçesi verilerinin sunumundaki doğruluk seviyeleri incelenmiştir. Gemini ve Copilot eksik yahut hiç veri sağlayamadığı için değerlendirmeye alınmamıştır. ChatSonic ve Claude, ChatGPT ve Perplexity’ye göre gerçeğe daha yakın veriler sunmuştur. Ancak bu modellerin sunduğu veriler dahi, gerçek verilerden, özellikle gelir ve gider kalemlerinde, kabul edilemeyecek seviyede farklılık göstermiştir. Ayrıca modellerde harcama verilerinin daha doğru sunulduğu, gelir verilerindeki hata oranlarının ise daha yüksek olduğu görülmüştür. Ek olarak, eski yıllara ait verilerde doğruluk oranı daha yüksekken, güncel verilere yaklaşıldıkça hata oranının arttığı gözlemlenmiştir. YZ modellerinin, milyonlarca lira anlamına gelen küsuratları dikkate almadığı da anlaşılmıştır. Çalışma, YZ modellerinin kamu bütçesi gibi hassas verilerde yüksek doğruluk gereksinimlerini karşılama noktasında sınırlı kaldığını, ancak gelecekte, daha doğru veri sunabilen ChatSonic ve Claude modellerinin, bütçeleme süreçlerinde karar destek aracı olarak potansiyel taşıdığını göstermektedir. Bu bulgular, YZ teknolojilerinin kamu maliyesindeki geleceği için önemli çıkarımlar sunmaktadır.