AI Summary & Key Takeaways
AI InsightConsequently, a decision support system was developed that can effectively evaluate disaster processes using social media data and has the potential for implementation by response teams.
📌 3 Key Takeaways
Abstract
Social media platforms are critical data sources that can contribute to the management of the process with the instant information flow they provide during disasters and crises. In general, in cases where such a process occurs, high message density, misleading, incomplete, or noisy information flow arising from its nature are important factors that complicate the management of this process. Most studies in the literature on this topic have focused on the classification process while neglecting triage-oriented case prioritization. In this context, to overcome the related limitations, a transformer-based and triage-oriented decision support system (DSS) was developed to detect disaster emergencies from Turkish X posts. In the study, a pre-trained BERT-based deep learning (DL) model specifically tailored for the Turkish language was used to determine the probability of emergencies. The model outputs were supported by steps for identifying the type of need, extracting location information, and calculating urgency levels based on contextual clues. By combining these components, a priority score was calculated for each message for operational use, and the messages were ranked according to a triage approach. Experimental studies were conducted by applying the BERT model and proposed DSS to a dataset consisting of messages shared during the İzmir and Hatay earthquakes. Measurements based on the confusion matrix showed that the DDS achieved an accuracy of 88.14% and an F-score of 88.78%, demonstrating successful and stable performance for disaster emergency case detection. The proposed system proved effective in capturing emergency cases, particularly with a recall score of 96.56%. In the Precision@K analyses performed on the prioritization results, the DSS demonstrated superior performance over the BERT model at increasing data scales. Consequently, a decision support system was developed that can effectively evaluate disaster processes using social media data and has the potential for implementation by response teams.
Özet
Sosyal medya platformları, afet ve kriz durumlarında sahadan sağladıkları anlık bilgi akışı ile sürecin yönetimine katkı sağlayabilecek kritik veri kaynaklarındandır. Genel olarak böyle bir sürecin gerçekleştiği durumlarda onun doğası kaynaklı oluşan yüksek mesaj yoğunluğu, yanıltıcı, eksik yada gürültülü bilgi akışı bu sürecin yönetimini zorlaştıran önemli etkenler olarak karşımıza çıkar. Literatürde ilgili konu üzerinde yapılan çalışmaların çoğu sınıflandırma sürecine odaklanmış olup triaj odaklı vaka önceliklendirmesini gözardı etmektedir. Bu kapsamda bu çalışmada ilgili sınırlıkların üstesinden gelebilmek için Türkçe X paylaşımlarından afet acil durum tespiti yapan transformer temelli ve triyaj odaklı bir karar destek sistemi (KDS) geliştirilmiştir. Çalışmada, acil durum olasılığını belirlemek için Türkçe diline özgü olarak önceden eğitilmiş BERT temelli bir derin öğrenme (DÖ) modeli kullanılmıştır. Model çıktıları; ihtiyaç türü belirleme, konum bilgisi çıkarımı ve bağlamsal ipuçlarına dayalı aciliyet seviyesi hesaplama adımları ile desteklenmiştir. Bu bileşenler birleştirilerek her bir mesaj için operasyonel kullanım amacıyla bir öncelik puanı hesaplanarak, mesajlar triyaj yaklaşımına uygun olarak sıralanmıştır. Deneysel çalışmalar, BERT modeli ve önerilen KDS’ nin İzmir ve Hatay depremleri sırasında paylaşılan mesajından oluşan veri kümesine uygulanması ile gerçekleştirilmiştir. Karışıklık matrisi temelindeki ölçümler, KDS’ nin elde ettiği % 88.14’lük doğruluk ve % 88.78’lik f-ölçütü skorları ile afet acil durum tespiti için başarılı ve istikrarlı bir performans ortaya koyduğunu göstermiştir. Önerilen sistem, özellikle duyarlılık metriğinde elde ettiği %96.56’ lık skor ile acil durum vakalarını yakalamada ne kadar etkili olduğunu ispatlamıştır. Önceliklendirme sonuçları üzerinden gerçekleştirilen Precision@K analizlerinde KDS’ nin artan veri ölçeğinde BERT modelinin üstünde bir performansa imza attığı gözlenmiştir. Sonuç olarak, önerilen sistem ile sosyal medya verileri üzerinden afet sürecini etkin biçimde değerlendirebilen ve müdahale ekipleri için uygulanabilme potansiyeline sahip bir karar destek sistemi ortaya konmuştur.