Journals / Veri Bilimi / 2021 / Cilt: 4 - Sayı: 1

Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi

Pages
45–52
Publication Date
2021-01-15
DOI
—
🏛️Bibliographic metadata and full text access for this article are provided via DergiPark.
DergiPark Record ↗
✨

AI Summary & Key Takeaways

AI Insight
⚡ TL;DR(Too Long; Didn't Read)

Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.

📌 3 Key Takeaways

🎯
Objective & Hypothesis:Günümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur.
📊
Key Findings & Data:IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır.
💡
Conclusion & Impact:Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.
🔬Design:Modeling & Simulation
📍Scope:Comprehensive Sample
⚙️Variables:Nesnelerin İnterneti · Büyük Veri · Rabbit MQ

Özet

Günümüzde IoT (Internet of Things – Nesnelerin İnterneti) cihazların kullanımındaki artış beraberinde yüksek yoğunluklu ve farklı çeşitte verilerin oluşmasına sebep olmuştur. IoT cihazlarından toplanan bu verilerin formatları, şekilleri ve yoğunlukları birbirinden tamamen farklıdır. Bu verilerin anlık olarak işlenmesi ve ilgili kullanıcıya anlık olarak iletilmesi gerekmektedir. Bu makalede, IoT cihazlarından elde edilen verilerin işlenmesi ve son kullanıcıya anlık olarak iletilmesi amacıyla bir model tasarlanmıştır. Çalışmada öncelikli olarak IoT cihazlarından toplanan yapısal olmayan veriler veri ön işleme adımlarına tabi tutulmuştur. Veri ön işleme adımları sonrası elde edilen verilerden anlamlı kelimeler tespit edilmiştir. Bu amaçla TF-IDF metrikleri uygulanmıştır. Anlamlı kelime tespiti sonrası her anlamlı kelimenin konusuna verileri anlık işlemek amacıyla Rabbit MQ dağıtık mesaj işleme kuyruğuna yönlendirilmiştir. Böylece mesajların iletilmesini garanti altına alıyoruz. Rabbit MQ kuyruğuna iletilen mesajların anlık olarak alınması ve işlenmesi amacıyla Apache Storm topolojisi kullanılmıştır. Garantili mesaj işleme alt yapısı kullanan Apache Storm topolojisi, mesajları RabbitMQ dağıtık kuyruklama teknoloji üzerinden okuyup, yapması gereken işlem ve hesaplamaları yaptıktan sonra çıktıları Elasticsearch içerisinde saklayacaktır. Apache Storm topolojisi içerisinde üretilen sonuçlar daha sonra REST API mimarisi kullanılarak son kullanıcı ile paylaşılacaktır.

🔖

Cite This Article

TOPRAK, A., ZAİM, A. H. (2021). Dağıtık Mesajlaşma Altyapısı Kullanılarak Büyük Boyutlu Verilerin Gerçek Zamanlı Olarak İşlenmesi. Veri Bilimi, Cilt: 4 - Sayı: 1, 45–52. https://ajindex.com/articles/821859

📄 Full Text PDF Viewer

📄

PDF görüntüleyici hazırlanıyor...

References (9)

  1. Mediaclick.“IoTnedir?”.https://www.mediaclick.com.tr/blog/iot-nedir (16.07.2020)
  2. Prnewswire.“NewsReleases”.https://www.prnewswire.com/newsreleases.html (16.07.2020)
  3. Beyaz. “IoT nedir?”. https://www.beyaz.net/tr/arge/makaleler/iot_nedir.html(16.07.2020)
  4. Christoph, P. M. (2009). Security and privacy challenges in the internet of things. Proc WowKiVS, 2009-1. K. R. Sollins, "IoT Big Data Security and Privacy Versus Innovation," in IEEE Internet of Things Journal, vol. 6, no. 2, pp. 1628-1635, April 2019. doi: 10.1109/JIOT.2019.2898113 U. Ahsan and A. Bais, "A Review on Big Data Analysis and Internet of Things," 2016 IEEE 13th International Conference on Mobile Ad Hoc and Sensor Systems (MASS), Brasilia, 2016, pp. 325-330. doi: 10.1109/MASS.2016.048 V. Moreno-Cano, F. Terroso-Saenz and A. F. Skarmeta-Gómez, "Big data for IoT services in smart cities," 2015 IEEE 2nd World Forum on Internet of Things (WF-IoT), Milan, 2015, pp. 418-423. doi: 10.1109/WF-IoT.2015.7389091 M. R. Bashir and A. Q. Gill, "Towards an IoT Big Data Analytics Framework: Smart Buildings Systems," 2016 IEEE 18th International Conference on High Performance Computing and Communications; IEEE 14th International Conference on Smart City; IEEE 2nd International Conference on Data Science and Systems (HPCC/SmartCity/DSS), Sydney, NSW, 2016, pp. 1325-1332. doi: 10.1109/HPCC-SmartCity-DSS.2016.0188 M. Mohammadi, A. Al-Fuqaha, S. Sorour and M. Guizani, "Deep Learning for IoT Big Data and Streaming Analytics: A Survey," in IEEE Communications Surveys & Tutorials, vol. 20, no. 4, pp. 2923-2960, Fourthquarter 2018. doi: 10.1109/COMST.2018.2844341 Acar, D.B,Yılmaz, A. K, Küçükbay, S. R. (2018). IoT Verileri İçin Gerçek Zamanlı ve Ölçeklenebilir Büyük Veri Mimarisi: Karşılaşılan Problemler ve Geliştirilen Çözümler.UYMS’18,2018-1.
  5. Tanasa, D., Trousse, B., 2004. Advanced data preprocessing for intersites web usage mining, IEEE Intelligent Systems, 19(2), 59–65.
  6. Chitraa, V., Dr. Davamani, A. S., 2010. A Survey on Preprocessing Methods for Web Usage Data. International Journal of Computer Science and Information Security, 7(3), 78-83.
  7. Caner Tosun.“RabbitMQ Nedir? Windows Üzerinde Kurulumu”. http://www.canertosuner.com/post/rabbitmq-nedir-windows-uzerinde-kurulumu (16.07.2020)
  8. Medium. “Kafka vs. RabbitMQ”. https://medium.com/kariyertech/kafka-vs-rabbitmq-abe52d5eee34 (16.07.2020)
  9. Oguzhan İnan. “Hadoop Ekosistemi ve Kullanılan Araçlar”. https://oguzhaninan.gitlab.io/Hadoop-Ekosistemi-ve-Kullanilan-Araclar/#what