Yapay Zeka Hızlı Bakış & Çıkarımlar
AI InsightMapReduce uygulamasında işçi düğüm olarak işlem tecritlenmesi kullanılması da yeni bir uygulamadır
📌 3 Maddede Bu Makale
Özet
Günümüzde bilişim sistemlerinde geçmişe oranla çok daha büyük veriler oluşmaktadır. Bu verilerin depolanması ve analizinde önemli kaynak sorunları yaşanmaktadır. Büyük Verinin depolanması, işlenmesi ve analiz edilmesi için ihtiyaç duyulan sistemlerin, güncel sistemlerden daha hızlı çalışması ve daha az enerji tüketmesi gerekmektedir. Aksi takdirde çok büyük maliyet ve veri analiz süreleri önümüze çıkmaktadır. Bu çalışmada tek kart mini kişisel bilgisayarlar ile küme oluşturup ve üzerinde kap tabanlı sanallaştırma sağlayıp büyük veri algoritmaları denemeleri yapılmıştır. Bu kapsamda oluşturulan büyük veri sistemlerinin temelini oluşturan Map Reduce işlemlerinin özel olarak tasarlanmış ARM işlemci kümeleri üzerinde yürütülmesini ve etkinliğinin test edilmesi araştırılmıştır. ARMişlemcili tek kart mini bilgisayarların maliyeti ucuz, enerji tüketimi düşük, karbon salınımı düşüktür. Kümeleme, bulut bilişim, çoklu işlem, paralel işlem ve büyük veri uygulamalarına da uygunluğu da görülmüştür.Tek kart bilgisayar donanımı üzerinde kap temelli sanallaştırma kullanımını denenmemiş bir yaklaşımdır. MapReduce uygulamasında işçi düğüm olarak işlem tecritlenmesi kullanılması da yeni bir uygulamadır
Abstract
- Nowadays information systems have much larger data than in the past. The storage and analysis of this data has a huge lack of resource. Saving, processing and analyzing of the big data needs systems that work faster and consume less energy than current systems. Otherwise much greater costs and times of data analysis will be faced. In this study, a cluster of single board computers is created and succeeded to run process isolation operating system level virtualization for experiencing on big data algorithms. In this context created our work, the Map Reduce transactions, which are the basics of big data systems, were executed on specifically designed ARM architecture mini supercomputer clusters. ARM processed single board computers have effective costs, less energy consumptions and less carbon emissions. Clustering, cloud computing, multiprocessing, parallel processing and big data applications compliance has been also observed. Container virtualization on single board computer is an untested approach to use. Using process isolation for MapReduce WorkerNode is yet another new practice.