KaydedilenlerDerginizi ekleyin

Dergiler / Mugla Journal of Science and Technology / 2022 / Cilt: 8 - Sayı: 2

BÜYÜK VERİLER İÇİN HADOOP İŞ ÇİZELGELEME ALGORİTMALARINA GENEL BAKIŞ

AN OVERVIEW OF HADOOP JOB SCHEDULING ALGORITHMS FOR BIG DATA

Akhtari ZAMEEL
Ahmet ZENGİN
Sayfa
38–48
Yayın Tarihi
2022-12-30
DOI
—
🏛️Bu makalenin bibliyografik verileri ve tam metin bağlantısı DergiPark üzerinden sağlanmıştır.
DergiPark Kaydı ↗
✨

Yapay Zeka Hızlı Bakış & Çıkarımlar

AI Insight
⚡ TL;DR(1 Cümlede Hızlı Çıkarım)

Bu çalışma aynı zaman da araştırmacıya ihtiyaçlarına göre iş çizelgeleme algoritmasına uygun yönlendirme sağlamaktadır.

📌 3 Maddede Bu Makale

🎯
Amaç & Hipotez:Büyük veri sistemlerindeki hızlı gelişmeler son on yılda meydana gelmektedir.
📊
Temel Bulgular & Veri:Apache Hadoop, en yaygın olarak çok büyük veri hacimlerini verimli bir şekilde yönetmek için kullanılır ve ayrıca iş çizelgeleme ile ilgili sorunları ele almada yetkindir.
💡
Sonuç & Katkı:Bu çalışma aynı zaman da araştırmacıya ihtiyaçlarına göre iş çizelgeleme algoritmasına uygun yönlendirme sağlamaktadır.
🔬Tür:Modelleme & Sayısal Simülasyon
📍Kapsam:Genişletilmiş Akademik Örneklem
⚙️Değişkenler:Büyük veri · hadoop · iş çizelgeleme

Özet

Büyük veri sistemlerindeki hızlı gelişmeler son on yılda meydana gelmektedir. Büyük veri sistemlerinde yüksek performans elde etmek için en önemli unsur "iş Çizelgeleme"dir. Çizelgelemenin bazı zorluklarını çözmek için daha fazla dikkat gerekmektedir. Büyük verileri işlerken daha yüksek performans elde etmek için uygun çizelgeleme gereklidir. Apache Hadoop, en yaygın olarak çok büyük veri hacimlerini verimli bir şekilde yönetmek için kullanılır ve ayrıca iş çizelgeleme ile ilgili sorunları ele almada yetkindir. Büyük veri sistemlerinin performansını iyileştirmek için çeşitli Hadoop iş çizelgeleme algoritmalarını önemli ölçüde analiz ettik. Çizelgeleme algoritması hakkında genel bir fikir edinmek için bu makale iyi bir arka plan sunmaktadır. Bu makale Hadoop büyük veri çerçevesinin temel mimarisi, iş çizelgeleme ve sorunları hakkında genel bir perspektif sunmaktadır. Ardından en önemli ve temel Hadoop iş çizelgeleme algoritmalarını incelemekte ve karşılaştırmaktadır. Ek olarak makale diğer geliştirilmiş algoritmalarının bir incelemesini sunmaktadır. İlk amacı büyük veriler analiz ederken performansı arttırmak için çeşitli çizelgeleme algoritmalarına genel bir bakış sunmaktır. Bu çalışma aynı zaman da araştırmacıya ihtiyaçlarına göre iş çizelgeleme algoritmasına uygun yönlendirme sağlamaktadır.

Abstract

Rapid advancements in Big data systems have occurred over the last several decades. The significant element for attaining high performance is "Job Scheduling" in Big data systems which requires more utmost attention to resolve some challenges of scheduling. To obtain higher performance when processing the big data, proper scheduling is required. Apache Hadoop is most commonly used to manage immense data volumes in an efficient way and also proficient in handling the issues associated with job scheduling. To improve performance of big data systems, we significantly analyzed various Hadoop job scheduling algorithms. To get an overall idea about the scheduling algorithm, this paper presents a rigorous background. This paper made an overview on the fundamental architecture of Hadoop Big data framework, job scheduling and its issues, then reviewed and compared the most important and fundamental Hadoop job scheduling algorithms. In addition, this paper includes a review of other improved algorithms. The primary objective is to present an overview of various scheduling algorithms to improve performance when analyzing big data. This study will also provide appropriate direction in terms of job scheduling algorithm to the researcher according to which characteristics are most significant.

🔖

Bu Makaleye Atıf Yap

ZAMEEL, A., ZENGİN, A. (2022). BÜYÜK VERİLER İÇİN HADOOP İŞ ÇİZELGELEME ALGORİTMALARINA GENEL BAKIŞ. Mugla Journal of Science and Technology, Cilt: 8 - Sayı: 2, 38–48. https://ajindex.com/articles/862010

📄 Tam Metin PDF Okuyucu

📄

PDF görüntüleyici hazırlanıyor...

Kaynakça (15)

  1. Zameel, A., Najmuldeen, M., and Gormus, S., “Context-Aware Caching in Wireless IoT Networks”, 11th International Conference on Electrical and Electronics Engineering (ELECO), IEEE, 2019, pp. 712-717.
  2. Seethalakshmi, V., Govindasamy, V., & Akila, V., “Job scheduling in big data-a survey”, International Conference on Computation of Power, Energy, Information and Communication (ICCPEIC) IEEE, 2018, pp. 023-031.
  3. Deshai, N., Venkataramana, S., Hemalatha, I., & Varma, G. P. S., “A Study on Big Data Hadoop Map Reduce Job Scheduling”, International Journal of Engineering & Technology, 7(3), 59-65, 2017.
  4. Mohamed, E., & Hong, Z., “Hadoop-MapReduce job scheduling algorithms survey”, 7th International Conference on Cloud Computing and Big Data (CCBD), IEEE, 2016, pp. 237-242.
  5. Singh, D., Reddy, C.K., “A survey on platforms for big data analytics”, Journal of big data, 2(1): p. 1-20, 2015.
  6. Nagina, D. and Dhingra, S., “Scheduling algorithms in big data: A survey”, Int. J. Eng. Comput. Sci, 5(8): p. 17737-17743, 2016.
  7. Cheng, D., Zhou, X., Lama, P., Wu, J., & Jiang, C., “Cross-platform resource scheduling for spark and mapreduce on yarn”, IEEE Transactions on Computers, 66(8), 1341-1353, 2017. Apache Hadoop. (2021, November 11) [online]. Available: http://hadoop.apache.org.
  8. Hamad, F. and Alawamrah, A., “Measuring the Performance of Parallel Information Processing in Solving Linear Equation Using Multiprocessor Supercomputer”, Modern Applied Science, 12(3): p. 74, 2018.
  9. Liu, J., Pacitti, E. and Valduriez, P., “A survey of scheduling frameworks in big data systems”, International Journal of Cloud Computing, 7(2): p. 103-128, 2018.
  10. Guo, Y., Wu, L., Yu, W., Wu, B., & Wang, X., ”The improved job scheduling algorithm of Hadoop platform”, arXiv preprint arXiv:1506.03004, 2015.
  11. Hudaib, A.A. and Fakhouri, H.N., “An automated approach for software fault detection and recovery”, Communications and Network, 8(03): p. 158, 2016.
  12. Hamad, F., “An overview of Hadoop scheduler algorithms”, Modern applied science, 12(8): p. 69, 2018.
  13. Usama, M., Liu, M., and Chen, M., “Job schedulers for Big data processing in Hadoop environment: testing real-life schedulers using benchmark programs”, Digital communications and networks, Elsevier, 2017.
  14. Hannan, S.A., “An overview on big data and hadoop”, International Journal of Computer Applications, 154(10), 2016.
  15. Dai, X. and Bensaou, B., “Scheduling for response time in Hadoop MapReduce” in 2016 IEEE International Conference on Communications (ICC) IEEE, 2