Büyük Veri Araçları için Eş-Derinlikli Histogram Oluşturma Metodolojisi

Özet

Son yıllarda, verileri sürekli olarak dijital dünyaya aktaran ağlar, makinalar ve sosyal medya gibi bir çok data kaynağı vardır. Bu kaynaklardan üretilen datanın boyutu eksponansiyel olarak artmaktadır. Hali hazırda elde bulunan datanın istatistiki bilgisini anlamak ve sorgu optimizasyonu sağlamak için eş-derinlikli histogram vazgeçilmez bir araçtır. Bu makalede, büyük veriler için hem Apache Pig betiklerini hem de Apache Hadoop ile etkileşimli Java Web Arayüzü kullanılarak yaklaşık eş-derinlikli histogram oluşturulması gösterilmektedir. Büyük veriler için, kalite garantisiyle birlikte, eş-derinlikli histogram oluşturma metotları kullanılmakta, bu metotların teknik yönlerden deneysel sunumları ortaya konulmakta ve yine bu metotlar Apache Hadoop MapReduce ve Apache Pig User Defined Functions ile uygulanmaktadır. Arka planda Apache Hadoop Map-Reduce işleri (Apache Hadoop Map-Reduce jobs) ve Hadoop Distributed Files System kullanılarak Java Server Face sayfasından kalitesi garantilenmiş eş-derinlikli histogram oluşturulmasının prototip uygulaması ve bu uygulamaların kullanılmasıyla metotların değerlendirilmesi sunulmaktadır. Ayrıca büyük verileri kullanarak eş-derinlikli histogram oluşturmak için Apache Pig betiklerinin teknikleri izah edilmektedir. Sonuçlar gösteriyor ki; sistemimiz Apache Pig kullanılarak, histogram kullanımını da gerektiren çoklu iş yazma yeteneğini basit bir şekilde sağlamaktadır. Programcılar, histogram oluşturmak ve Map-Reduce işlerinin karmaşık uygulamalarından kaçınmak için Apache Pig’in avantajlarından faydalanabilmektedir.

Abstract

In recent decades, countless data sources such as social media, machines, and networks are constantly pushing data into the digitalworld. The size of the data has been growing exponentially. To understand the statistical information of data query optimization,equi-depth histograms are essential. In this paper, we present approximate equi-depth histogram construction for big data usingboth Apache Pig Scripts and Java Web Interface interacting with Apache Hadoop. We use equi-depth histogram construction withquality guarantees for big data approaches and implement them with Apache Hadoop Map-Reduce and Apache Pig user-definedfunctions. We introduce a prototype implementation of the construction of the approximate equi-depth histogram from the JavaServer Face page using Apache Hadoop jobs and the Hadoop Distributed Files System, and we evaluate these methods using thedemonstration. We explain Apache Pig Scripts techniques to create equi-depth histograms using big data. The results indicate thatour system provides the capability of writing multiple jobs using Apache Pig, and programmers can make use of the advantages ofApache Pig to create histograms and eliminate the complex implementation of Map-Reduce jobs.