Dergiler / Bilgi Dünyası / 2020 / Cilt: 21 - Sayı: 2

Doğal Dilde Yapılan Türkçe Sorgularda Google Arama Motoru’nun Performans Değerlendirmesi

Performance Evaluation of Google Search Engine in Turkish Natural Language Queries

Sayfa
247–267
Yayın Tarihi
2022-10-12
DOI
—
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Elde edilen sonuçlarının Google’ın geliştirilmesi amacıyla yapılan çalışmalara fayda sağlayacağı düşünülmektedir.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Araştırmada Türkçe doğal cümlelerle yapılan aramalarda Google arama motorunun performansını değerlendirmek amaçlanmaktadır.
📊
Temel Bulgular & Veri:Bu doğrultuda Google’a 2 farklı tipte (maddi sorular - diğer sorular) 20 soru sorulmuş ve ilk 10 sonuç duyarlık ve normalize sıralama değerlerine göre değerlendirilmiştir.
💡
Sonuç & Katkı:Elde edilen sonuçlarının Google’ın geliştirilmesi amacıyla yapılan çalışmalara fayda sağlayacağı düşünülmektedir.
🔬Tür:Araştırma Makalesi
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:Alan Parametreleri

Özet

Araştırmada Türkçe doğal cümlelerle yapılan aramalarda Google arama motorunun performansını değerlendirmek amaçlanmaktadır. Bu doğrultuda Google’a 2 farklı tipte (maddi sorular - diğer sorular) 20 soru sorulmuş ve ilk 10 sonuç duyarlık ve normalize sıralama değerlerine göre değerlendirilmiştir. Verilerin analizinde Mann-Whitney U, Spearman ve Ki-kare testleri kullanılmıştır. Araştırmanın sonucunda Google’ın Türkçe doğal dilde yapılan aramalara getirdiği sonuçların ilgililik düzeyi ortalama düzeyde bulunmuştur. Soru tipine göre ilgililik düzeylerinin farklılık göstermediği ancak ilgililik sıralamasının farklılık gösterdiği ortaya çıkmıştır. Maddi sorularda diğer sorulara göre ilgili dokümanlar daha üst sıralarda yer almıştır. Ayrıca Google ilgili dokümanları üst sıralarda göstermekte başarılı bulunmuştur. Çoğunlukla ilk 5 sonuçta ilgili sonuçlara ulaşılabildiği ortaya çıkmıştır. Soruların hemen hemen yarısında yanıt kutusu (snippet) gelmiş ve bunların büyük çoğunluğunun sorgu ile ilgili olduğu saptanmıştır. Sonuç sayfasında gelen videoların ise genellikle sorgu ile ilgisiz olduğu ortaya çıkmıştır. Elde edilen sonuçlarının Google’ın geliştirilmesi amacıyla yapılan çalışmalara fayda sağlayacağı düşünülmektedir.

Abstract

The aim of the research is to evaluate the performance of the Google search engine on the queries made with Turkish natural sentences. In this direction, Google was asked 20 questions of 2 different types (factoid questions - other questions) and the first 10 results were evaluated according to precision and general normalized recall measure. Mann-Whitney U, Spearman and Chi-square tests were used in the analysis of the data. As a result of the research, the relevance level of the results brought by the Google in regards to Turkish natural language queries were found to be average. It was revealed that the relevance levels did not differ according to the question type, but the relevance ranking did differ. Compared to other questions, relevant documents ranked higher for factoid questions. In addition, Google has been successful in showing relevant documents at the top. It turned out that mostly in the first 5 results relevant results can be reached. A snippet was brought for almost half of the questions and the majority of these were determined to be relevant with the query. Videos brought up in the result pages were revealed to be mostly irrelevant to the query. It is thought that the results obtained will benefit the studies carried out to improve Google.

🔖

Bu Makaleye Atıf Yap

DİŞLİ, M. (2022). Doğal Dilde Yapılan Türkçe Sorgularda Google Arama Motoru’nun Performans Değerlendirmesi. Bilgi Dünyası, Cilt: 21 - Sayı: 2, 247–267. https://ajindex.com/articles/464342

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (3)

  1. Akbulut, M., Tonta, Y. ve White, H.D. (2020). Related records retrieval and pennant retrieval: An exploratory case study. Scientometrics, 122, 957–987. doi: 10.1007/s11192-019-03303-9
  2. Alexa. (2020). Alexa top sites. https://www.alexa.com/topsites adresinden erişildi. Amasyalı, M. F. ve Diri, B. (2005). Bir soru cevaplama sistemi: Baybilmiş. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 1(1), 37-51. https://dergipark.org.tr/tr/pub/tbbmd/ issue/22240/238746 adresinden erişildi. Azeez, S. S. (2017). An evaluation of three search engines (Google, Yahoo, Bing) based on Arabic user perception (Yayımlanmamış Yüksek Lisans Tezi). Çankaya Üniversitesi, Ankara. http://earsiv.cankaya.edu.tr:8080/xmlui/bitstream/handle/20.500.12416/1950/Azeez%2c%20Suad%20Shatti.pdf?sequence=1&isAllowed=y adresinden erişildi. Bar-Ilan, J. ve Gutman, T. (2005). How do search engines respond to some non-English queries? Journal of Information Science, 31(1), 13-28. doi: 10.1177/0165551505049255 Bilal, D. (2012). Ranking, relevance judgment, and precision of information retrieval on children’s queries: Evaluation of Google, Yahoo!, Bing, Yahoo! Kids, and ask Kids. Journal of the American Society for Information Science and Technology, 63(9), 1879-1896. doi: 10.1002/asi.22675 Bitirim, Y. ve Görür, A. K. (2017). A comparative evaluation of popular search engines on finding Turkish documents for a specific time period. Tehnički vjesnik, 24(2), 565-569. doi: 10.17559/ TV-20140512181430 Bollmann, P. (1983). The normalized recall and related measures. ACM SIGIR Forum, 17(4), 122-128. doi: 10.1145/1013230.511811 Brin, S. ve Page, L. (1998). The anatomy of a large-scale hypertextual web search engine. Computer Networks and ISDN Systems, 30(1-7), 107-117. doi: 10.1016/S0169-7552(98)00110-X Ceylan, N. Ö. (2019). Parametrik ve parametrik olmayan testler için güç karşılaştırmaları (Yüksek Lisans Tezi). Selçuk Üniversitesi,
  3. Konya. Chaoticity. (2010). Google as a question answering system. https://chaoticity.com/google-as-a-question-answering-system/ adresinden erişildi. Demirci, R. G., Kişmir, V. ve Bitirim, Y. (2007). An evaluation of popular search engines on finding Turkish documents. Second International Conference on Internet and Web Applications and Services (ICIW’07) içinde (s. 61). Morne. doi: 10.1109/ICIW.2007.15. Dwivedi, S. K. ve Singh, V. (2013). Research and reviews in question answering system. Procedia Technology, 10, 417-424. doi: 10.1016/j.protcy.2013.12.378 Gul,