Performance Evaluation of Google Search Engine in Turkish Natural Language Queries

Doğal Dilde Yapılan Türkçe Sorgularda Google Arama Motoru’nun Performans Değerlendirmesi

Abstract

The aim of the research is to evaluate the performance of the Google search engine on the queries made with Turkish natural sentences. In this direction, Google was asked 20 questions of 2 different types (factoid questions - other questions) and the first 10 results were evaluated according to precision and general normalized recall measure. Mann-Whitney U, Spearman and Chi-square tests were used in the analysis of the data. As a result of the research, the relevance level of the results brought by the Google in regards to Turkish natural language queries were found to be average. It was revealed that the relevance levels did not differ according to the question type, but the relevance ranking did differ. Compared to other questions, relevant documents ranked higher for factoid questions. In addition, Google has been successful in showing relevant documents at the top. It turned out that mostly in the first 5 results relevant results can be reached. A snippet was brought for almost half of the questions and the majority of these were determined to be relevant with the query. Videos brought up in the result pages were revealed to be mostly irrelevant to the query. It is thought that the results obtained will benefit the studies carried out to improve Google.

Özet

Araştırmada Türkçe doğal cümlelerle yapılan aramalarda Google arama motorunun performansını değerlendirmek amaçlanmaktadır. Bu doğrultuda Google’a 2 farklı tipte (maddi sorular - diğer sorular) 20 soru sorulmuş ve ilk 10 sonuç duyarlık ve normalize sıralama değerlerine göre değerlendirilmiştir. Verilerin analizinde Mann-Whitney U, Spearman ve Ki-kare testleri kullanılmıştır. Araştırmanın sonucunda Google’ın Türkçe doğal dilde yapılan aramalara getirdiği sonuçların ilgililik düzeyi ortalama düzeyde bulunmuştur. Soru tipine göre ilgililik düzeylerinin farklılık göstermediği ancak ilgililik sıralamasının farklılık gösterdiği ortaya çıkmıştır. Maddi sorularda diğer sorulara göre ilgili dokümanlar daha üst sıralarda yer almıştır. Ayrıca Google ilgili dokümanları üst sıralarda göstermekte başarılı bulunmuştur. Çoğunlukla ilk 5 sonuçta ilgili sonuçlara ulaşılabildiği ortaya çıkmıştır. Soruların hemen hemen yarısında yanıt kutusu (snippet) gelmiş ve bunların büyük çoğunluğunun sorgu ile ilgili olduğu saptanmıştır. Sonuç sayfasında gelen videoların ise genellikle sorgu ile ilgisiz olduğu ortaya çıkmıştır. Elde edilen sonuçlarının Google’ın geliştirilmesi amacıyla yapılan çalışmalara fayda sağlayacağı düşünülmektedir.