AI Summary & Key Takeaways
AI InsightExperimental results show that the proposed PSO solution achieves better makespan reduction and improved resource utilisation than the baseline greedy allocation method across various multi-VM configurations.
📌 3 Key Takeaways
Abstract
In large-scale cloud-based big data systems, optimal resource allocation remains challenging due to the variety of workloads and limited computational resources. Using digital twin technology, we demonstrate our methodology through an optimisation approach to resource allocation and performance tuning for a cloud-based, complex data processing application. Contrary to the conventional heuristic or genetic algorithms popular in the literature, this paper applies Particle Swarm Optimisation (PSO) to efficiently solve the task-to-resource assignment problem. We obtain a synthetic yet realistic workload that includes task execution times, resource usage profiles, and data locality characteristics. The model above addresses the issue by minimising the makespan while imposing penalty constraints for infeasible scheduling and minimising CPU and memory utilisation. Experimental results show that the proposed PSO solution achieves better makespan reduction and improved resource utilisation than the baseline greedy allocation method across various multi-VM configurations. The proposed approach offers a novel and valuable optimisation tool that can be widely applied to cloud workload management by integrating digital twin frameworks.
Özet
Büyük ölçekli bulut tabanlı büyük veri problemlerinde, çeşitli iş yükleri ve sınırlı hesaplama kaynakları nedeniyle optimal kaynak tahsisi hâlâ önemli bir zorluktur. Bu çalışmada dijital ikiz teknolojisini kullanarak, kaynak tahsisi ve performans ayarlaması için bir bulut tabanlı karmaşık veri işleme uygulamasında optimizasyon temelli bir yöntem önerilmiştir. Literatürde yaygın olarak kullanılan geleneksel sezgisel veya genetik algoritmaların aksine, bu çalışmada görev-kaynağa atama problemini etkin bir şekilde çözmek amacıyla Parçacık Sürüsü Optimizasyonu (PSO) uygulanmıştır. Gerçekçi ve sentetik bir iş yükü veri seti oluşturularak görev yürütme süreleri, kaynak kullanım profilleri ve veri yerelliği özellikleri dikkate alınmıştır. Geliştirilen model, uygun olmayan planlamalar için ceza kısıtları altında toplam işlem süresini minimize etmeyi ve aynı zamanda CPU ve bellek kullanımını dengelemeyi hedeflemektedir. Deneysel sonuçlar, önerilen PSO çözümünün, çoklu VM konfigürasyonları altında, temel greedy tahsis yöntemine kıyasla daha iyi makespan azaltımı ve kaynak kullanım dengesi sağladığını göstermektedir. Önerilen yaklaşım, dijital ikiz çerçeveleri ile bütünleştirilerek bulut iş yükü yönetimi alanında geniş uygulama potansiyeline sahip yeni ve etkili bir optimizasyon aracı sunmaktadır.