Journals / Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi / 2021 / Cilt: 23 - Sayı: 67

A Web Based Tool For Preparing Adhoc Retrieval Test Data

Anlık Sorgu Geri-Getirimi Test Veri Kümesi Hazırlamak İçin Bir Web Aracı

Pages
277–284
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

In this study, this process has become manageable by the tool developed on the basis of the method applied in the TREC (Text Retrieval Conference).

📌 3 Key Takeaways

🎯
Objective & Hypothesis:The main purpose of this study is to develop a web tool, which helps out on making relevant/non-relevant judgement of documents used in the test datasets prepared for text retrieval.
📊
Key Findings & Data:The test dataset for the adhoc retrieval contains a collection of documents, a certain number of queries, and relevant documents corresponding to these queries.
💡
Conclusion & Impact:In this study, this process has become manageable by the tool developed on the basis of the method applied in the TREC (Text Retrieval Conference).
🔬Design:Research Article
📍Scope:Comprehensive Sample
⚙️Variables:Test veri kümesi · anlık sorgu geri-getirimi · TREC

Abstract

The main purpose of this study is to develop a web tool, which helps out on making relevant/non-relevant judgement of documents used in the test datasets prepared for text retrieval. The test dataset for the adhoc retrieval contains a collection of documents, a certain number of queries, and relevant documents corresponding to these queries. Especially, the process of judging whether documents fit query targets or not is quite complex and time consuming. There is a need for an application that will perform the process of marking the documents relevant to the queries in a digital environment. Because a large number of documents need to be examined by users who are concerned with relevance. In this study, this process has become manageable by the tool developed on the basis of the method applied in the TREC (Text Retrieval Conference).

Özet

Bu çalışmanın amacı, bilgi erişimi alanında yazılı belge derlemleri kullanarak hazırlanan test veri kümeleri için sorgulara karşılık gelen belgelerin alakalı/alakasız yargısının yapılacağı bir web aracı geliştirmektir. Anlık sorgu geri-getirim için test veri kümesi bir belge topluluğu, belirli sayıda sorgular ve bu sorgulara karşılık gelen alakalı belgeleri içermektedir. Özellikle, belgelerin sorgu hedeflerine uygun olup olmadığının değerlendirilmesi işlemi oldukça karmaşık ve zaman alıcıdır. Sorguların alakalı olduğu belgeleri işaretleme işlemini dijital ortamda gerçekleştirecek bir uygulamaya ihtiyaç vardır. Çünkü çok sayıda belgeninin alaka yargısı yapan kullanıcılar tarafınan incelenmesi gerekmektedir. Bu çalışmada, TREC’te (Text Retrieval Conference) uygulanan yöntemi temel alarak geliştirilen araç ile bu süreç yönetilebilir hale gelmiştir.

🔖

Cite This Article

AKTÜRK, T. B., KOCABAŞ, İ. (2021). A Web Based Tool For Preparing Adhoc Retrieval Test Data. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, Cilt: 23 - Sayı: 67, 277–284. https://ajindex.com/articles/222185

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (8)

  1. Chapelle, O., Metlzer, D., Zhang, Y., Grinspan, P. 2009. Expected reciprocal rank for graded relevance. In Proceedings of the 18th ACM Conference on Information and Knowledge Management, 621-630. Järvelin, K., Kekäläinen, J. 2002. Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems (TOIS), 20(4):422-446.
  2. Clarke, C.L.A., Kolla, M., Cormack, G.V., Vechtomova, O., Ashkann, A., Buttcher, S., MacKinnon, I. 2008. Novelty and diversity in information retrieval evaluation. In Proceedings of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 659–666.
  3. Agrawal, R., Gollapudi, S., Halverson, A., Ieong, S. 2009. Diversifying search results. In Proceedings of the Second ACM International Conference on Web Search and Data Mining, 5–14.
  4. Cleverdon, C. 1967. The Cranfield tests on index language devices. Aslib proceedings, 19(6), 173-194. TREC web sayfası. http://trec.nist.gov/ (Erişim Tarihi: 14/12/2018).
  5. Lew, M. S., Sebe, N., Djeraba, C., Jain, R. 2006. Content-based multimedia information retrieval: State of the art and challenges. ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2(1), 1-19. https://dl.acm.org/doi/abs/ 10.1145/1126004.1126005 Sanderson, M., 2010. Test Collection Based Evaluation of Information Retrieval Systems. Foundations and Trends® in Information Retrieval, 4(4), 247-375. DOI: 10.1561/1500000009 Harman, D. 1992. Overview of the First Text REtrieval Conference (TREC-1). NIST Special Publication 500-207: The First Text Retrieval Conference Proceedings (TREC-1), 1-20.
  6. Harman, D. 1993. Overview of the Second Text REtrieval Conference (TREC-2). NIST Special Publication 500-215: The Second Text Retrieval Conference Proceedings (TREC-2), 1-20.
  7. Harman, D. 1994. Overview of the Third Text REtrieval Conference (TREC-3). NIST Special Publication 500-225: The Third Text Retrieval Conference Proceedings (TREC-3), 1-20.
  8. Voorhees, E.M. 2007. Overview of TREC-2007. NIST Special Publication 500-274: The 16th Text Retrieval Conference Proceedings (TREC 2007), 1-17. TREC-COVİD Challenge web sayfası. https://ir.nist.gov/covidSubmit/ (Erişim Tarihi: 02/07/2020). TREC-2019 Deep Learning Track web sayfası. https://trec.nist.gov/data/ deep2019.html (Erişim Tarihi: 02/07/2020). Hintçe için bilgi erişim görevleri içeren forum. web sayfası. http://fire.irsi.res.in/fire/2019/home (Erişim Tarihi: 02/07/2020). Çince için bilgi erişim görevleri içeren web s